宦官是一个很特殊的群体，生理有缺陷，身处在皇宫深处，他们和皇帝之间的关系，则除了顺从，还有内心潜藏的阴谋叛逆。
元帝继位不久，外戚、儒臣、宦官三种势力就开始角逐，但没想到宦官成为了最后的大赢家。儒臣领袖萧望之死后不久，中书令弘恭也在当年病死，同为宦官的仆射石显继任中书令。此后，中枢权力急剧失衡，向石显一方倾斜。出于对石显的信任及自身健康原因，元帝将朝政全部委托他处理，事无大小，都由他汇报决断。于是石显威权日盛，贵幸倾朝，公卿以下无不畏惧他。石显俨然一言九鼎，“重足一迹”。元帝虽为天子，权柄却握在石显手中，一切听任石显说了算。
元帝特别宠信宦官，主要基于一种天真的想法，认为宦官没有家室，不会缔结“外党”。但这是一种错觉，石显之流其实颇擅长“结党”，他不仅与宫廷太监结为“内党”，而且勾结史丹、许嘉等外戚，并拉拢那些见风使舵的匡衡、贡禹、五鹿充宗等儒臣，结为“外党”；内外呼应，兴风作浪，党同伐异（匡衡有一个“凿壁借光”的典故，勤奋学习为官之后得到元帝赏识，前期也和宦官集团斗争过，后来不知作何想法，与宦官结交，被儒臣排挤，被贬庶人，晚年病死家中）。但朝堂上还是有忠心正直的大臣，易学大师京房曾提醒元帝不要宠信佞臣，元帝却执迷不悟，依然听任石显专权；京房触怒石显，很快被逐出朝廷，随后又因“非谤政治”而被处死，以石显为首的宦官势力显赫无两，汉王朝的兴盛也就急剧衰弱。
