唐伯元出身农家，家道贫寒。他父亲唐天荫为人忠厚朴实，务农为生；母亲许氏手艺超人，勤耕善织，为贤淑之妇。唐伯元家除了几亩山地薄田外，还租种了莲阳槐泽王员外的水田，小时候的唐伯元经常帮父亲干农活。
传说有一次，王员外家闹鬼，家宅不宁。一天晚上，王员外睡梦中隐隐约约地听到两个小鬼在交谈，其中一个小鬼说：“明天唐大人要来，他阳气逼人，我等受不了，怎么办？”另一个回应说：“你看那边桌子下面有两个瓮子，我俩躲进里面，就没事了。”说完，两个小鬼各自躲进瓮中。
王员外听后记在心中。第二天一大早，王员外刚开门，就见到佃户唐天荫带着儿子唐伯元担粮来交租，心想，这个“唐大人”莫非就是唐天荫？但又不象。但他看到唐伯元时，被他的气宇轩昂、一表非凡所打动，忍不住问了唐伯元的名字，还追问了不少问题。唐伯元虽小小年纪，却对答如流。接着王员外又问唐伯元会不会写字，当伯元回答刚上学识字，只会背写《三字经》时，王员外心中暗喜，便搬来文房四宝，请伯元在两张红纸上面分别写上“人之初，性本善”六个字，并署名“唐伯元”。
王员外得到唐伯元的墨宝，犹如获得天师的灵符，迅速将红纸分封在两个瓮子口上，命家人投进池塘。就这样两个小鬼被镇在里面，再也不能出来闹事，更不用说投胎转世了。王员外的家宅也得以安宁。
