很多年前，一个阳光明媚的清晨，一个书生坐在桃花林正在苦读四书五经,这书生叫颜红光，父母早亡，家里很贫穷，几乎三餐都吃不饱，家里唯一值钱的就是那两担沉甸甸的书。书生每天都坐在这片林子里，他笃信“书中自有颜如玉，书中自有黄金屋”的古训，每天随便寻个坐处，读到天黑，日子一天天的就这样在圣贤书中流逝。
这片桃林有三十棵桃树，但是桃树很奇怪，颜红光已在桃林中读了十年书，可是却从没有见过桃花开过一次。这年春天，桃林中发生了一件奇事，十年未开花的桃树却突然开满了粉红色的桃花。他随口吟道：“去年今日此门中，人面桃花相映红，人面不知何处去，桃花依旧笑春风。”他刚吟完，突然听到一个婉转的女子声音传来：“好诗！”颜红光抬头一看，一位身穿粉红色纱裙的女子站在自己面前，貌若天仙，对着他盈盈笑着。
颜红光一时看得呆了，等他醒过神来，女子已不知所踪。自从见到这位美如天仙的女子后，他再也无心读书了，每天到桃园去读书，以期再邂逅那个女子，可是真应了那句古诗——人面不知何处去，桃花依旧笑春风。时间长了，他竟患了相思病，吃饭想，走路想，睡觉也想。颜红光吃不下饭睡不着觉，没过半个月，竟病倒在床。
这日，颜红光在梦中喃喃说道：“桃花纱女，桃花纱女，你在哪里？”忽然一阵清香扑面而来，颜红光睁眼一看，眼前这位女子不就是自己日思夜想的人吗？他猛地抱住桃花纱女倾诉着思：“自从女天在桃林相见，我无时无刻不在想你……”那女子说道：“实话告诉你吧，我不是人，我叫桃花，我是王母娘娘的蟠桃园里的一颗桃树，被王母娘娘派到这里来管理桃园，这片桃园十年一开花，十年一结果，再有十年才成熟，天上一年，地上十年，等桃子成熟我还可在人间待二十年，如果你我相爱，夫妻最多只有二十年。”
颜红光说：“两情若是长久时，又岂在朝朝暮暮。只要你我相爱，就是一天我也心满意足了。”从此以后，他们结为了夫妻，颜红光每日读书，桃花每日纺纱织布。一年后，他们的爱情结晶咕咕坠地。
转眼间十年过去了，桃树长出了桃子，但是桃花仙子在人间和凡人结婚的消息不知道怎么被王母娘娘知道了，她大为震怒，派二郎神去捉拿桃花仙子。这日乌云密布，天雷滚滚，二郎神带着天兵天将来捉拿桃花仙子，桃花仙子知道夫妻缘分已尽，她哭着对颜红光说：“本打算跟你过二十载，可是只做了十年夫妻，就要分手了，我走后，你要好好教育儿子，长大后要把我的情况告诉他，让他知道他不是一个没有母亲的孩子……”桃花仙子还没说完，就被二郎神抓走了。
后来，颜红光把一切心思都放在儿子身上，并且给儿子取名颜涛（桃）生，后来儿子不负众望，竟然高中状元，最后官至宰相。为了纪念自己的母亲，颜涛生建了一座桃花仙子庙。
