唐中书舍人杜牧，少有逸才，下笔成咏。弱冠擢进士第，复捷制科。牧少隽，性疏野放荡，虽为检刻，而不能自禁。会丞相牛僧孺出镇扬州，辟节度掌书记。牧供职之外，唯以宴游为事。扬州胜地也，每重城向夕，倡楼之上，常有绛纱灯万数，辉蜀耀烈空中。九里三十步街中，珠翠填咽，邈若仙境。牧常出没驰逐其间，无虚夕。复有卒三十人，易服随后，潜护之。僧孺之密教也。而牧自谓得计，人不知之。所至成欢，无不会意。如是且数年，及徵拜侍御史，僧孺于中堂饯，因戒之曰：“以侍御史气概达驭，固当自极夷涂。然常虑风情不节，或至尊体乖和。”牧因谬曰：“某幸常自检守，不至贻尊忧耳。”僧孺笑而不答。即命侍儿，取一小书簏，对牧发之。乃街卒之密报也。凡数十百，悉曰：某夕，杜书记过某家，无恙；某夕，宴某家，亦如之。牧对之大惭，因泣拜致谢，而终身感焉。故僧孺之薨牧为之志，而极言其美，报所知也。
牧既为御史，久之分务洛阳。时，李司徒愿罢镇闲居，声妓豪华，为当时第一。洛中名士，咸谒见之。李乃大开宴席，当时朝客高流，无不瑧赴，以牧持宪，不敢邀致。牧遗座客达意，愿预斯会。李不得已驰书。方对酒独斟，亦已酣畅，闻命遽来，时，会中已饮酒。女妓百余人，皆绝艺殊色。牧独坐南行，瞪目注视。饮满三巵，问李云：“闻有紫云者，孰是？”李指示之。牧复凝睇良久曰：“名不虚得，宜以见惠。”李俯而笑，诸妓皆亦回首破颜。牧又自饮三爵，朗吟而起曰：“华堂今日绮筵开，谁唤分司御史来？忽发狂言惊满座，两行红粉一时回。”意气闲逸，旁若无人。
牧又自以年渐迟暮，常追赋感旧诗曰：“落魄江湖载酒行，楚腰纤细掌中情。三年一觉扬州梦，赢得青楼薄幸名。”又曰：“𦨻船一棹百分空，十载青春不负公。今日鬓丝禅榻伴，茶烟轻飏落花风。”
太和末，牧复自侍御史出佐沈傅师江西宜州幕。虽所至辄游，而终无属意。咸以非所好也。及闻湖州名郡，风物妍好，且多奇色，因甘心游之。湖洲刺史某乙，牧素所厚者，颇喻其意。及牧至，每为之曲宴周游，凡优姬倡女，力所能致者，悉为出之。牧注目凝视曰：“美矣！未尽善也。”乙复候其意。牧曰：“愿得张水嬉，使州人毕观。候四面云合，某当闲行寓目，冀于此际，或有阅焉。”乙大喜，如其言。
至日，两岸观者如堵。迨暮，竟无所得。将罢舟舣岸，于丛人中，有里姥引鸦头女，年十余岁。牧熟视曰：“此真国色，向诚虚设耳！”因使语其母，将接致舟中，姥女皆惧。牧曰：“且不即纳，当为后期。”姥曰：“他年失信，复当何如？”牧曰：“吾不十年，必守此郡，十年不来，乃从尔所适可也。”母许诺，因以重币结之。为盟而别。故牧归朝颇以湖州为念。然以官秩尚卑，殊未敢发。寻拜黄州、池州，又移睦州，皆非意也。牧素与周墀善，会墀为相，乃并以三笺于墀，乞守湖州，意以弟顗目疾，冀于江外疗之。大中三年，始授湖州刺史。比至郡，则已十四年矣，所约者已从人三载，而生三子。牧既即政，函使召之。其母惧其见夺，携幼以同往。牧诘其母曰：“曩既许我矣，何为反之？”母曰：“向约十年，十年不来而后嫁，嫁已三年矣。”牧因取其载词视之，俯首移晷曰：“其词也直，强之不祥。”乃厚为礼而遣之。因赋诗以自伤曰：“自是寻春去校迟，不须惆怅怨芳时。狂风落尽深红色，绿叶成阴子满枝。”
中书舍人杜牧，少年时就有过人之才，落笔就能成章。年才弱冠就中了进士第，接着又考捷科奏凯。杜牧少年英俊，性情也放荡不羁，即使被强制约束，也无法克制自己。
遇到丞相牛僧孺出任扬州大都督府长史兼淮南节度副大使，征召杜牧掌节度府书记。杜牧在工作之余，只管宴会游乐，花天酒地。扬州是繁华之地（唐称扬一益二，即扬州第一，益州第二），每当夜幕降临，青楼上面，常有几万盏纱灯罗列，辉煌明亮，照得夜空通明。九里长的三十条步行街中，到处是装饰华丽的美人，仿佛到了仙境一般。杜牧常常就在这花街柳巷中流连，每夜必至。另有三十名役卒，换了常服跟在他后面，暗中保护他，乃是牛僧孺暗中指使，杜牧却自鸣得意，以为无人知道其作为。到了任一处倡楼，都极为欢洽合意，就这样过了几年。
后来杜牧升迁侍御史，牛僧孺在中堂给他饯行，告诫他说：“侍御史风度自然，挥洒自如，当然能够取得高位。但我时常担心你迷恋风尘，不能自制，可能伤害你身体。”杜牧撒谎说：“幸好我还能自我检点，不至于给您带来麻烦。”僧孺笑着不答，只是叫侍童取来一个小书箱，当着杜牧面打开。原来是役卒的密报，有好几千条，全是：某晚，杜牧在某妓家，无恙；某夜，在某家宴会，也没事之类的报告。杜牧十分惭愧，于是哭泣着拜谢牛僧孺，终身都感激僧孺。所以后来牛僧孺薨逝后，杜牧给他写墓志，极言牛僧孺的美德，是报答僧孺的相知之情。
杜牧当上御史后，时间长了，就被分派去了洛阳。当时，司徒李愿（司徒之职是他死后追赠）免去节度使之职后，在洛阳闲居，其家声乐歌伎，排场极为豪华，当时为天下第一。洛阳的名士，都去拜谒他。李愿就大开宴席，当时的朝廷官员、社会名流，全都争着前去，因为杜牧是御史，主持法纪，李愿不敢邀请他。杜牧就通过座上客人转达自己愿意前来与会的意思，李愿不得已只好给他发邀请函。
当时杜牧正在一个人喝闷酒，已经喝得兴起，听到李愿邀请他，马上就来了。当时，宴会上已经在喝酒了，侍宴的女乐有一百多人，全都色艺双绝。杜牧一个人坐在南侧，睁大眼仔细看这些女乐。喝了三杯酒后，问李愿道：“听说有个叫紫云的，这里面谁是她？”李愿就指给他看。杜牧又目不转睛地看了半天，说：“果然名不虚传，应当把她送给我。”李愿低头笑了起来，所有女乐也回头笑了起来。杜牧又自斟三杯，站起来大声吟诵说：“华贵的厅堂中，今日开设了豪华的宴席，是谁将这个分司洛阳的御史叫来的呢？他忽然口出狂言致使满座皆惊，连两队美女都一起回过头来。”意态悠闲狂放，旁若无人。
杜牧又因自己年华渐渐老去，曾经做过感怀忆旧之诗，说：“穷困失意在江湖间载酒飘泊，仍经常和美女厮混在一起。扬州三年（有的版本作“十年”）如同一场梦似的，只在青楼留下了薄情的名声。”又说：“扁舟一叶万事成空，但十年的青春没有白渡。如今鬓发如丝，与禅榻为伴，只有暮春的落花风轻轻吹散茶烟。”
太和末年，杜牧又以侍御史身份出京辅佐出镇江西宣州节度使的沈傅师，做他的幕僚。虽然他一到地方就四处游玩，却没遇到一个中意的，因为都不是他所喜欢的。后来听说湖州是名郡，风物都很美好，而且有很多美女，于是高兴地去游玩。湖州刺史某，跟杜牧一向交情深厚，非常清楚杜牧的来意。等杜牧来后，每次为他设宴游乐，凡是女乐倡优，力所能找到的，全都请出来。杜牧睁着眼睛仔细看着，说：“都很漂亮，只是还没绝色。”刺史又问他想怎么做，杜牧说：“希望能在水边举行游乐活动，叫州里的人都来看。等各方的人都来后，我就慢慢走着仔细观察，希望能在这种地方，或许能遇到绝色。”刺史大喜，就依其言而行。
到了那一天，两岸游玩的人摩肩接踵。快到黄昏了，杜牧却一无所得。正要停船靠岸，却从人群里，看见有个乡村老妇，带着一个才十来岁的女孩子。杜牧仔细看了很久，说：“这个小女孩是真正的大美人，先前的那些女子真不值一提。”于是叫人给这老妇传话，将母女俩接到船上，母女都很害怕。杜牧说：“暂且不马上娶，只定个以后结婚的期限。”老妇说：“将来如果你失信了，怎么办？”杜牧说：“我不过十年后，一定会为此州刺史。十年后如果我没来，你就可以将女儿嫁人了。”老妇答应了，于是杜牧给老妇很多财礼，双方立下盟书然后分别。
因此杜牧回到朝堂后非常挂念湖州刺史一职，但他当时官小位卑，也不敢提出请求。不久就先后担任了黄州、池州刺史，又调任睦州刺史，都不是他中意的。杜牧向来与周墀交好，后来周墀当了宰相，杜牧连写了三封信给周墀，乞求担任湖州刺史，用弟弟杜顗眼睛有病的理由，希望能在长江流域以外治疗。
大中三年，杜牧才被任命为湖州刺史。等他到任郡守时，已经过了十四年了，当年所约定的那人，已经出嫁三年，生了三个儿子了。杜牧到任主政后，就发函召人。老母怕杜牧抢夺人妻，就带着三个幼小的孙子一起来了。杜牧责怪老妇说：“你先前已经答应我了，为什么又反悔？”老母说：“先前约定的十年，十年不来后才出嫁的，现在已经嫁人三年了。”杜牧就拿出盟约来看，低下头很长时间，才说：“这盟约写得很明白，勉强别人则不吉祥。”于是就送了女子厚礼，打发她们走了。
杜牧因此写了首诗自哀自怨道：“当然是怨我寻春太迟了，不必恼烦苦闷芳时已过。狂风已经吹落了深红色的花朵，如今已经绿叶成荫，果实累累了。”
《杜牧》亦出自《云溪友议》，载于《太平广记》卷二百七十三，“妇人”类。本文详细描写了杜牧的一些生活片断，为后人研究杜牧提供了重要资料。同时，本文也反映了唐代官僚贵族腐朽糜烂的生活情况。
