巫蛊之祸发生的时候，霍光之所以没出手救卫家，原因其实很简单。一是因为霍光和卫家的关系，其实并不那么亲密；二是因为当时的霍光其实真不是啥大人物，他就是汉武帝身边的一个秘书而已。所以，就算霍光愿意出手，最后其实也只不过是把自己搭进去而已。
想要更好地理解这个问题，其实可以简单来捋一下霍光到底是怎么上位的，如果看过霍光上位的整个经历之后就会发现：霍光当时不出手其实真的是很正常的一件事。
霍光的故事其实还得从那座平阳侯府开始说起。很多年之前，平阳侯府内部有一个卫媪，卫媪没啥太大的背景，所以就只能在侯府内做仆人。
卫媪就是卫子夫和卫青的母亲，也是所有和卫家有关的故事的开端。
但是，严格来说，卫媪其实和霍光一点关系都没有。不过要是不说这段故事的话，其实很难理解霍光和卫家的关系。
这个故事大概是这样的：卫媪出身底层，一直在侯府内做仆人。后来，卫媪嫁给了一个姓卫的男人，生了三女一子。这其中的老三，就是卫子夫。然后，那个姓卫的男人去世了，也有可能是抛妻弃子离开了。总之最后，卫媪是一个人带着四个孩子生活。
所以后来，卫媪为了找个依靠，就和侯府里一个叫郑季的小官私通，然后又生了三个儿子。这三个儿子里面的老大，就是那位卫青。“大将军卫青者，平阳人也。其父郑季，为吏，给事平阳侯家，与侯妾卫媪通，生青。”
卫媪本以为，有了儿子之后，自己能够嫁给这个郑季。结果没想到，这个郑季后来直接回了自己的老家。既不想认卫媪，也不想认这几个儿子。
后来卫媪觉得气不过，强行把这三个儿子都塞到了这个郑季家里。结果人家根本不拿这三个私生子当回事，完全拿他们当仆人对待，“青为侯家人，少时归其父，其父使牧羊。先母之子皆奴畜之，不以为兄弟数。”所以后来，这三个儿子大一点之后，就直接离开了郑家，回去找卫媪了。
可怜卫媪一个女子，只是侯府的一个普通仆人。要养活七个孩子，自然不太现实。所以后，卫家大娘的这几个孩子就都被卫家大娘带进了侯府，做了侯府的下人。那个卫子夫，成了侯府的歌女；至于卫青，则是成了侯府的马夫。再后来，侯府的主人迎娶了公主，卫青就稍微转换了一下职业，从一个马夫变成了公主的骑奴。这就是卫家故事的开始。
接下来的故事，大家都比较熟悉了。因为侯府迎娶的这个公主是汉武帝的亲姐姐。所以后来某一次，汉武帝来侯府做客，就看中了侯府里的歌女卫子夫。再后来，汉武帝把卫子夫带回了皇宫，卫子夫又给汉武帝生了孩子，得到了汉武帝的宠爱，卫家也就此起飞了。
在卫家起飞的这个故事当中，如果说，卫子夫和卫青的故事算是主线的话，那么和霍光有关的故事就是一个很不起眼的支线了。
大概在卫子夫还没被汉武帝看中，还在侯府做歌女的时候，卫家的二女儿，也就是卫子夫的二姐，搞出了一点事情。
卫媪一共三个女儿，这其中卫子夫排老三，二女儿则是叫卫少儿。这个卫少儿和卫媪特别像，也是一个敢爱敢恨的主。所以后来，在侯府做仆人期间，卫少儿重演了一遍当年她母亲的故事，也搭上了一个侯府的小官。
然后，这个名叫霍仲孺的小官就和当年卫家大娘搭上的那个郑季一样。春风一度之后，人家根本不愿接受一个侯府女奴，直接甩手就回了老家。
虽说当时那个年代，汉武帝还开始正式“罢黜百家”，封建礼教也没那么严格。可是一个侯府女奴，本来地位就已经很低了，再遇上这种事情，以后该怎么嫁人呢？更巧的是，那一夜春风之后，卫少儿还怀孕了！
