司马迁生于史官世家,祖先自周代起就任王室太史,掌管文史星历。父亲司马谈在武帝即位后,任太史令达30年之久。司马谈很博学,精通天文、《易》学和黄老之学。司马迁从10岁起诵读古文,并接受其父的启蒙教育。渊源久长的家学对他后来治学道路有深刻的影响。后随父去长安,同当时著名经学大师孔安国、董仲舒学习古文《尚书》和《春秋》。19岁为补博士子弟。20岁开始了遍及全国的游历生活。壮游使他开阔了眼界,增长了知识。回到长安后,武帝对这个广闻博识、学问丰富的年轻人十分重视,命他为郎中,让他带着皇帝的命令出使巴蜀,到达包括今天四川、云南一带的大西南地区。

公元前110年,汉武帝封泰山,司马谈病重不能从行。在他的心目中,修史是一项崇高的事业,为此奉献了自己一生的精力。临终前他难过地对司马迁说:“我死以后，你一定要做太史。莫忘了我的遗愿。今大汉兴盛,海内一统,上有明主贤君,下有忠臣义士。我身为太史,而未能记载,愧恨不已。你一定要完成我未竟之业!”