因为刻苦学习，匡衡熟知经史子集，名声渐渐大了起来，被地方官推举到朝廷太学读书，可是匡衡的仕途一开始并不顺利。参加了九次考试，才勉强得了个太原郡的文学卒史。不过，好在匡衡的运气不太差，匡衡的才华却被当时的太子看中，太子非常推崇他。
太子（汉元帝）即位后， 提拔匡衡担任郎中，不久迁为博士、给事中。恰逢但是长安出现日食，日食本来是普通的自然现象，但在古人看来确实不祥之兆，通常会被认为是皇帝出现了过错，是上天的警示。
匡衡因此更加受到元帝的宠爱。迁升为光禄大夫、太子少傅。
元帝好诗经，而匡衡对诗经甚为通晓，多次给元帝讲学，深得元帝喜爱。又被元帝升为御史大夫。
公元前36年，丞相韦玄成病逝，匡衡又代为丞相，可以说是位极人臣。
后来元帝驾崩，汉成帝继位。有人给成帝上书弹劾匡衡说：“元帝时，中书令石显凭借 元帝对自己的宠爱飞扬跋扈，结党营私，并怂恿元帝加重百姓赋税、徭役，而衡为宰相，深受皇恩却不加以制止，是为有过。 ”
成帝建始三年，有人举报匡衡贪污受贿，而且在被元帝封为乐安侯时，利用郡县地图的失误和宰相的权力谋私，非法扩大封地四万多亩。
于是，匡衡被成帝贬为庶人，身败名裂，不久在家乡去世。
没想到啊，这么勤奋的一个人在没有好好利用自己的才能为朝廷尽力，反而是做出了这么可怕的事情，人不可貌相啊。
