吴县潘世恩，字槐堂，号芝轩，以“体仁阁大学士”，在枢廷三十年，极人爵之荣。生有四子，长曾沂，字功甫；三曾绶，字绂庭，年未四十即致仕，即潘伯寅（祖蔭）的父亲。次子曾莹，又名观保，字星斋，长于史学，兼擅诗文书画，配陆夫人，生五子，祖同居长，字桐生，号谱琴，和伯寅是堂兄弟。
潘祖同自幼生性端重，一心以名教自任，初由荫生官主簿旋中举人，考授国子监学正，世恩死后，清廷恩赐祖同进士及第，改“翰林院庶吉士”，充“国史馆协修”，他虽因门第上进，但少年勤学，文章品行均为一般人所推重。
潘观保广于交游，往来都是一时硕博，对祖同的英发，都喜欢和他作忘年交，在翰林时，早已有声都下，与伯寅有“双丁陆”之目。
咸丰时，端华、肃顺用事，潘祖同风骨峻厉，耻事权伟，对旗下大爷们颇瞧不起，肃顺骄妄专横惯了，祖同每与论事，常正色面斥其短，遂生嫌隙。
科场大狱起时，大学士柏葰等五人，给肃顺以整饬科举积弊为词，狱具论死，株连所及，刚巧祖同也是看卷之一，肃顺咬他一口，便下了刑部牢，几乎和柏中堂同被“咔嚓”。
奏上，咸丰帝念是世恩子孙，免职发戍，在戍所一病几死，查畹香即是此时误闻死耗而和杨鼎来私奔。
潘家门生故旧满枢廷，柏葰的死，天下称冤，祖同是绐陷害的，所以到了同治初元，肃顺被杀之后，祖同也纳赎归来，官丢了，老婆也跑了，他觉世路崄巇，便绝意进取，在京随侍父母，以文史自娱者十余年。
陆太夫人年老，牙齿通脱掉了，咬不动鱼肉，偏喜欢尝尝，但又觉得吐弃可惜，祖同每食必侍膳，他母亲咬不动而又不忍弃的东西，他却不嫌脏，拿来吃了，所以他父母都称他孝心，能够做到“先意承志”。
光绪四年（公元一八七八年）三月上巳，观保夫妇同日逝世，李鸿章是观保的门下士，这时已有了赫赫功名，感念师恩，以白金千两致赙，祖同把它璧谢了，写信给鸿章说：
家虽贫，丧纪勉可自尽，不敢以累公也。
鸿章叹道：“祖同居然如此，师门可算有后了！
不久，扶柩归葬，从此即杜门不出，他的祖和父所藏珍玩和名贵的字画至多，他一起分给弟辈，自己留下的只是书籍万余卷而已。在京时和李芍农（文田）最相得，南归后，和俞曲园（樾）独多来往，生平不信神鬼，深恶赌博，尤讨厌巫婆、尼姑，持家严肃之极。
自畹香奔杨后，初纳一妾，妾死，继娶桐乡仲氏，那时他已五十岁。仲氏也是系出名门，姿容才具，都胜过畹香，祖同诗酒读书，不问生计，全靠仲氏勤俭持家，晚景也渐渐充裕。
祖同光绪二十八年冬卒，年七十四，无子，嗣子二人，又先死。仲氏课孙成立，至公元一九三一年冬才去世，亦已七十九了。
