汉朝真正衰落是在汉元帝时期，也就是西汉第十一位皇帝，汉宣帝之子刘奭（shì）。刘奭在位时期“崇尚儒术”，多次出兵击溃匈奴。在建昭三年（前36年），郅支之战中消灭了唯一反汉的匈奴首领郅支单于。自此汉匈百年大战告一段落。竟宁元年（前33年），匈奴呼韩邪单于入朝求亲。刘奭以宫女王嫱（王昭君）嫁之为妻，史称“昭君出塞”。昭君出塞为汉室迎来了40年的和平，使得汉元帝的统治期间汉朝依旧繁荣。
但是元帝特别宠信宦官，他认为宦官没有家室，不会缔结“外党”。朝政全部委托宦官处理，事无大小。而且在儒臣的要求下以不符合儒家心目中的古礼为由废除郡国庙，废除迁关东豪强至关中帝陵置邑制度，豪强大地主兼并之风盛行，社会危机日益加深。最终汉元帝皇后王政君侄子王莽篡汉。西汉衰落由此可见。
