乾隆甲寅（1794年）七月，沈复从粤东回来。同伴徐秀峰是他的表妹婿，带回一个妾室，夸耀新妾长得美，邀请陈芸去看。
陈芸有一天对秀峰说：“她美则美矣，却少了些韵味。”秀峰说：“如果你的丈夫纳妾，必定是要找个美丽又有韵味的人了？”陈芸说：“没错。”从此以后就醉心于物色人选，但是缺乏余钱实施。
当时有个叫温冷香的浙江妓女，居于苏州，写有《咏柳絮》四律，在苏州城里传得沸沸扬扬，好事之人纷纷唱和。沈复的朋友张闲憨向来欣赏冷香，拿了柳絮诗来索要唱和。陈芸不喜欢冷香，没太搭理。沈复一时技痒，依韵和了几首，其中有“触我春愁偏婉转，撩他离绪更缠绵“之句，陈芸拍手赞叹。
第二年，乙卯（1795年）秋八月五日，沈母准备带陈芸一起游虎丘。张闲憨突然来了，对沈复说：“我也要去虎丘游玩，今日特来邀你做探花使者。”
沈复于是请示母亲，先行一步，约好在虎丘半塘会面。张闲憨拉沈复到了温冷香的寓所。冷香已是半老，有个女儿名叫憨园，瓜期未破，亭亭玉立，真是“一泓秋水照人寒”。憨园在款待问候间，显得颇通文墨。她有个妹妹叫文园，年岁尚小。
沈复并无痴想，只是想到这饮酒叙谈的费用，并非像他这样的寒士所能承担的。可是已经到了这种场合，心中忐忑不安，只得勉强应酬一番。
沈复私下问闲憨：“我是一个贫士，你想用佳人尤物来耍弄我吗？”
闲憨笑着说：“不是的。今日有个朋友邀请憨园答谢我，现在他被重要的客人拉走了，我代他转而邀请你，你不必有所顾虑。”沈复这才放下心来。
到了半塘，两船相遇，沈复叫憨园过去拜见沈母。陈芸和憨园相见，如同遇见旧识一般高兴，携手登山，尽览胜景。陈芸独爱千顷云的高旷，坐在那里欣赏了许久。回去时到了野芳滨，大家开怀畅饮，并舟而泊。
解缆开船时，陈芸对沈复说：“你陪张闲憨，留下憨园陪我，可以吗？”沈复答应了。返航至都亭桥，两船才分别。
回家已是三更。陈芸说：“今日总算见到了美而有韵味的女子，我方才已约了憨园明日来拜访，我要帮你得到她。”沈复大惊：“她这样的出身，非金屋不能贮，我一介穷书生怎敢生出这般妄想？况且我们伉俪情深，何必外求他人呢？”陈芸笑了：“我就是喜欢她，你且安心等着。”
