因位卑言轻，刘光第屡次提请重审的案件，总被权贵阻挠，最终不了了之。有一次，刑部长官要求他在案件中“枉法”行事，刘光第断然拒绝，就此得罪了上司，升迁之路举步维艰。
长久下来，秉性耿直的刘光第难免忧形于色，却又不得不谨言慎行，将一腔孤愤埋在心底。
本就内向的他，变得更加地孤僻。在刑部的十余年，竟有不少同乡同僚，连他的名字都不知晓。
除了性格原因，光第不喜应酬的另一个重要原因，是囊中羞涩。
刘光第的官职是“候补主事”，并无实缺，因此俸禄微薄，每年仅五十余两。这点银子要在京城维持一家的开销，实在捉襟见肘，全家的生计主要仰赖家乡的多方接济。
尽管吃着“百家饭”，刘光第的生活依然十分拮据。一来他子女不少、家庭开销比较大;二来即便再清高自持，有些官场必不可少的“人情往来”也难以完全避免，比如年节对师门的赠礼、接待同乡亲友、应付同僚的婚丧嫁娶，等等。
可即便如此，他在官场中的整体口碑仍偏负面。连远在老家的族叔都来信提示他，称“同乡十之八九与他不睦"。
可是，谁也不知道，这个外表孤僻、不谙世故的小京官，心里却藏着一颗“位卑未敢忘忧国”的赤子之心。
