据《袁氏家乘》所记，袁氏先世从汝南陈州迁徙江南，散居吴越间。
南宋初年八代祖富一公开始，由语儿溪徙居陶庄净池(今嘉善县陶庄镇)，袁家於是"世居净池"。陶庄古镇位於嘉善县西北部，净池是市中心的湖泊。袁家在陶庄的住地有两处，一是净池南的袁家汇，另是镇东的袁家埭。
袁了凡的高祖袁顺，字杞山，"世居陶庄"，有土地40多顷，"元末家颇饶"。他"豪侠好义，尚气节人"，"勇於为善而奔义若赴"。因参于反对朱棣篡位，袁杞山命途多舛。
袁了凡的曾祖袁颢(1414-1494)，字菊泉，是"下保东(陶庄)一册一甲里长。"宣德五年(1430年)嘉善设县，县治定址产生分歧。嘉善"父老咸委计於杞山，"杞山则由其儿子袁颢出面，说服大理寺卿胡槩，改变知府齐政原定西塘的方案。
袁颢在《袁氏家训》中，提倡救世助人、积善行善、谦虚修德等训诫。
袁了凡的祖父袁祥(1448-1504)，字文瑞，号怡杏，景泰四年(1453)上门到魏塘镇殳家为婿，成年后与殳氏女儿完婚，生一女。后袁祥又娶配平湖巨室朱氏的女儿，"资送甚厚"，善於料理，袁家遂大起。袁祥於是在魏塘镇亭桥建造了当时非常有名袁家庄园。
袁了凡的父亲袁仁(1479-1546)，字良贵，号参坡，博极群书，号称文献世家，以贤能闻名地方。万历《嘉善县志》收录了袁仁的《家居八景赋》，对魏塘上的袁家庄园有详细记述。
袁了凡的父亲袁仁对儒学具有很高的造诣，据说是当时著名的藏书家。与大学者王阳明、王艮(心斋)、王畿等在学问上有交往，跟唐伯虎是知己。袁仁博学又善於教育，对袁了凡早年的影响极大。他教导的重心在修身:"士之品有三，志于道德者为上，志於功名者次之，志于富贵者为下。"家庭的教育为袁了凡思想的形成播下了最初的种子。
袁了凡一生中，对他影响最大的一是其父袁仁，另是南京栖霞寺的云谷禅师。
袁了凡小时候不仅聪明，而且学习非常用功。袁了凡的老师、山阴人王畿赞扬道:"参坡袁公，名仁，字良贵，浙西嘉善人氏。……武塘袁生表从予游，最称颖悟，馀爱之"。
水是有源的，树是有跟的，了凡先生热衷于功名和生儿子是有原因的。综合上边了凡先生祖上的各种信息，让我们知道，袁家历来大富，有田有钱，还有文化素养，甚至跟王阳明、王艮、唐伯虎这些文学大家有很深交情，那么作为有才又有财的袁家来说，在那个“士农工商”为社会阶层排序的年代下，又身处当时文化主流的江南，袁家居然从来没有出现过举人、进士这些高级干部，那当然是很没面子的啦。所以当孔先生算定其当有功名、云谷禅师规劝其命自我立考进士时，袁了凡才会那么兴奋，那么认真执行，这与其家族渊源是分不开的。
另外通过袁家历史我们还了解，袁家有人“入赘”过，也就是做上门姑爷，这在那个封建思想超级严重的年代，无后是很悲哀的，所以我们也就理解了了凡先生必须生儿子的夙愿。
