相传，杜牧任宣州幕下书记时，曾前往湖州游玩，受到湖州刺史崔君的盛情款待。杜牧说：“我希望能在江中泛彩船，让全湖州的人观看，到那时，我就在人群中慢慢地走着，细细地寻找，希望能找到心仪的人。”
湖州刺史就依照杜牧的想法举行了一次活动。当天，杜牧与崔刺史在江上饮酒观景，江两岸挤满了前来看热闹的人。此时，杜牡望见江岸边有一位老妇人带着一个女孩子正在张望。杜牧笑着说：“这个女孩子真是天姿国色，先前的那些女子和她相比简直就是不值一提！”崔刺史想结交杜牧，就立即将那祖孙俩请至船上，欲做媒人。老妇人说：“我这孩子能被杜大才子看中，自是她的荣幸，但她今年才十三岁，恐未宜嫁人。”杜牧说：“我只是想要订下迎娶的日期。”老妇人说：“将来若是违约失信，又应当怎么办呢？”，杜牧说：“十年之内，我必来湖州做郡守。我来湖州做郡守之日，便是迎娶她之时，倘我十年不来，随便她嫁人如何？”老妇人听后表示同意，于是杜牧便下了丰厚的聘礼。
此后，杜牧常常挂念湖州，然而他官职较低，不能提出调任湖州的请求。后来杜牧出任黄州、池州和睦州刺史，也并非他的本意。直到大中三年，杜牧的好朋友周墀出任宰相，杜牧才获得湖州刺史的职位。此时距离杜牧与那祖孙俩约定的时间，已经过去了十四年。
杜牧来到湖州，便立即请老妇人来见面。见面后，杜牧得知当年的那位姑娘如今已出嫁三年并生了两个孩子。杜牧责问说：“从前你已经答应将女儿许配给我，为什么要违背诺言呢？”老妇人答道：“你我当初约定以十年为期限，如今十年早已过去，此前你一直没有来，姑娘年岁渐渐大了，这才出嫁的。”杜牧屈指一算，果如妇人所言，于是无奈地放弃了迎娶那姑娘的念头。送走老妇人后，杜牧感慨万千、惆怅不已，挥笔写下了一首《怅别》，自是寻春去校迟，不须惆怅怨芳时。狂风落尽深红色，绿叶成阴子满枝。
