汉武帝刘彻临死前，给刘弗陵安排了三位顾命大臣辅助。这三位辅臣分别是驸马都尉金日磾，太仆上官桀还有霍光。同时任命霍光为首辅大臣，大司马，大将军。霍光生性严谨，据说他每次进出宫殿，行脚落步，都有固定的位置和尺寸，不差毫厘。在金日磾去世后，上官桀紧紧抱住了霍光的大腿，主动跟霍光结成了儿女亲家。征得霍光同意后，将5岁的孙女，也就是霍光的外孙女，嫁给了11岁的刘弗陵。随着汉昭帝刘弗陵的慢慢长大，本应该是还政于帝，但是久经权利浸染的霍光却不舍得放手，还干涉汉昭帝宠幸后宫的事，希望自己的外孙女上官皇后椒房专宠。一心想有所作为的汉昭帝处处被霍光压制，终因长期忧愤，英年早逝。

霍光独揽朝权二十余年，轻而易举地可以废立皇帝。经过斟酌，霍光找来了一个年轻的昌邑王刘贺做皇帝，没想到刘贺锋芒毕露，一上台就提拔自己带来的官员，还更换警卫部队将领，开始排拆起霍光，跟霍光对着干。在霍光的权势受到挑战之时，仅仅做了27天皇帝的刘贺就被众多大臣举报因为发生1127件，平均每天41件的乖张不法之事被废掉了，他从封国带来的二百多亲信大臣绝大多数被霍光斩杀。

霍光再一次拍板确定了新皇帝的人选，这一次选中了浪迹江湖，毫无任何政治根基的汉武帝曾皇孙刘病已，也就是后来的汉宣帝刘询。刘病已刚坐上皇帝位子没多久，霍光就急忙忙的想把女儿霍成君立为汉宣帝的皇后，奈何汉宣帝故剑情深，不愿意离弃结发妻子许平君，霍光只好作罢。但是，霍光的妻子却深恨许平君，觉得她抢了女儿霍成君的皇后之位。在许皇后生产之际串通御医下毒害死了许皇后，霍光知道后，利用自己的权势将此事压了下来。

霍光一生有过两个夫人，两任妻子为他生下了三个儿子，七个女儿。原配夫人为东闾氏，在东闾氏去世之后，霍光又娶了东闾氏的侍女霍显为继室夫人。这是一个十分有心计的女人，霍显原本只是霍光原配妻子东闾氏的侍女而已。霍显也不姓霍，原姓李，婚后随了夫姓。（在《资治通鉴》中提到霍光与霍显的儿子霍禹的舅舅姓李）霍光当时已经官至大司马了，却偏偏娶了之前只是一个小侍女的霍显为继室夫人，可想而知这个女人的心计与手段。为这一次选择，霍光会后悔的在坟墓里上吊。霍显成为霍光的夫人后，先后为霍光生下长子霍禹，次子霍山以及小女儿霍成君等。

就是这个霍显，因为她的野心与狂妄，导致了霍氏一族被灭门的事件的发生。许皇后死后，不知收敛的霍显又撺掇着霍光把霍成君送进了皇宫，做了皇后。汉宣帝刘询封许平君为他生的儿子刘奭为太子，霍显听说后气得吃不下饭，说：“刘奭是皇上为平民时生的儿子，怎能被立为皇太子！难道将来皇后生的儿子，反倒只能做诸侯王吗？”居然让皇后霍成君从饮食下手，企图毒死刘奭，因为太子的保姆和侍从严密保护，霍成君几次下手都没有成功。对于这些事情，汉宣帝没有轻举妄动。他一刻也没忘记刘贺的遭遇。

霍光去世后，形势开始逆转。汉宣帝为了麻痹霍家，在剥夺霍家子弟兵权的同时还给他们加官进爵。在这种氛围中，霍家人都忘乎所以了。霍光的老婆开始大兴楼宇，还不甘寂寞地与管家美男子冯子都通奸玩性游戏。霍云在皇上召开御前会议的时候，借口有病，随随便便就派一个仆人前去报到，自己则与众多门客私自出游，行围打猎。藿显和她的几个女儿不分昼夜随意出入太后（霍光的外孙女）居住的长信宫，毫无顾忌。就在汉宣帝一步步加大对霍氏家族惩处的时候，霍禹还认不清形势，居然闹情绪不上班。他的一个老部下去看他，问他得的什么病，霍禹牢骚满腹地说：“我有什么病，当今皇帝要不是我家老爷子，他能当得了皇帝!现在我家老爷子坟上的土都还没有干呢?他就把我家人全部赶出京城了，权力也全部交给了别人，连我的兵权也给夺了，叫人哪能咽得下这口气?”如果霍氏家族真的认识到了自家的嚣张跋扈并真心悔改，那么汉宣帝对他们的惩治也会到此为止。汉宣帝并不是一个寡恩薄情的人，他的内心对霍光一直心存感激和敬佩。只是霍显到这个时候才将自己毒杀许皇后的事向霍禹、霍山、霍云和盘托出，经过霍家频繁的商议对策，最后的结论是造反。他们制定的计划是，让太后(霍光的外孙女)请博平君(汉宣帝的外婆)喝酒，然后将丞相等大臣诱来，由霍光的女婿范明友、邓广汉等以太后的名义将他们杀死，然后废掉汉宣帝，拥立霍禹当皇帝。

计划泄露了，霍云、霍山、范明友自杀，霍显、霍禹、邓广汉被活捉后，霍禹被腰斩，霍显、女儿女婿以及与霍家有各种各样关系的总共有几千户人家都被满门抄斩。只有霍成君，汉宣帝念其没有参与造反阴谋，只是将她的皇后废了，没有忍心杀她，但被贬冷宫，最后也自杀身亡。