中唐时期，齐安郡治所被回迁至邾城旧址，重新建城，名曰齐安城，各项条件极其简陋。晚唐以后，这里是外放逐臣的流放地，被京官视为“鄙陋州郡”，充满恐惧与不安。齐安作为历史文化名城，作为赤壁之战故地，第一个强力推动者，是晚唐的著名诗人杜牧。他受到李德裕排挤，外放担任齐安刺史，上表云：“伏以齐安在大江之侧，云梦泽南，古有夷风，今尽华俗，户不满二万，税钱才三万贯。风俗谨朴，法令明具，久无水旱疾疫，人业不耗，谨奉贡赋，不为罪恶，臣虽不肖，亦能守之。”他在《雪中书怀》《齐安郡晚秋》等诸多诗中，描述其客居江城齐安的荒僻生活与无限愤懑：“弧城大泽畔，人疏烟火微。愤悱欲谁语，忧愠不能持”，“柳岸风来影渐疏，使君家似野人居”，“可怜赤壁争雄渡，唯有蓑翁坐钓鱼”。这说明那时期的沿江线依旧在女王城、枫香桥一带山路的下方，而且大薮泽与长江相连。赤壁之下，蓑翁垂钓，这种意境与构思感动了北宋的苏轼，写出了“吾与子渔樵于江渚之上，侣鱼虾而友麋鹿”，也感动了明代的杨慎，写出了“白发渔樵江渚上，惯看秋月春风”。杜牧是创作咏史诗、怀古诗的高手，也是著名的“古迹雷神”，因为他所写的一些咏史诗、怀古诗太出名了，踩到了一些“地望雷区”，以致后世为其具体地点聚讼纷纭，争抢得头破血流。比如在齐安期间所题咏的横江馆、赤壁、桃花夫人庙、木兰庙、杏花村，都有一些人持不同意见，将其所在地点拖拽到别的地方，打了许多笔墨官司。

闲暇之时，杜牧到附近的赤壁矶一带旅游，参观横江馆，站立江边，面对陡峭而赭红的一带山岗，想起昔日赤壁之战的雄壮场面，不禁作诗两首。其《题横江馆》云：“孙家兄弟晋龙骧，驰骋功名业帝王。至竟江山谁是主，苔矶空属钓鱼郎。”和州采石矶亦有横江馆，乃唐代驿站，因李白《横江馆》而成名，明代改为皇华驿，清代改为采石驿。其《赤壁》诗云：“折戟沉沙铁未销，自将磨洗认前朝。东风不与周郎便，铜雀春深锁二乔。”后诗说明三个重点：一，他在城外江边捡到一枝古戟的金属部件，应是东汉末年的形制，印证那时在这里发生过水战；二，“借东风”的主谋是周瑜，不是诸葛亮；三，曹孟德具有“少妇情结”，尤其是年轻漂亮的少妇，而二乔者，乃孙策、周瑜之妻也。这里的“赤壁怀古”明确地跟齐安挂钩，从此深深影响后世文坛。如唐末的方干、韦庄，北宋的王禹偁、苏轼、苏辙、张耒、陈师道，南宋的陆游、张孝祥、辛弃疾、戴复古，元代的元好问，明代的方孝孺、解缙、王世贞、袁宏道，清代的刘子壮、于成龙、袁枚、李调元、秋瑾。其间，苏轼、陆游、解缙并非只是诗人作家，而是兼具历史学者的特质，足见并非文人骚客的主观抒发。这一长串的文人名单，是“赤壁之争”的其他几个地方所不可忽略、盗用的。

任职齐安郡守两年半的期间，杜牧还前往下辖的乌林、麻城、盘龙、蕲水一带视察工作，游山玩水，写了诸多诗篇（此时节，举洲早已坍塌沉没）。他在《早春寄李使君》中，提到“乌林”。他到新洲孔子山扩建孔庙，在庙中设置学堂（时称庙学），亲自讲学不辍，教化士民。他去蕲水兰溪，想起楚国大夫屈原，作诗《兰溪》：“兰溪春尽碧泱泱，映水兰花雨发香。楚国大夫憔悴日，应寻此路去潇湘。”此诗体恤屈原喜欢奇花异草，应该前来兰溪游玩，而兰溪位于蕲水入江口，在鄂渚斜对面。他在盘龙拜祭葬于此处的桃花夫人的祠庙，作诗《题桃花夫人庙》：“细腰宫里露桃新，脉脉无言度几春。至竟息亡缘底事，可怜金谷坠楼人。”此诗讽刺年轻貌美的息夫人不知守节，甘愿被楚王玩弄。因有桃花夫人庙，盘龙附近古有桃花山、桃花村、桃花林，吸引后世诸多文人题咏。清代叶调元《汉皋竹枝词》云：“月湖堤上报花开，游女都从汉皋来。谱上群芳终日看，息夫人庙伯牙台。”这里的息夫人庙位于龟山月湖，乃后世另立的祠庙，以广楚国的佳人、艺人，而诗人屈原的塑像，亦踞于汉皋东湖之滨。

杜牧登木兰山，作诗《题木兰庙》：“弯弓片战作男儿，梦里曾强与画眉。几度思归还把酒，指云堆上祝明妃。”这里明确指出，木兰庙是祭祀木兰的，即北魏民歌《木兰辞》中女扮男装、替父从军、功成身退、伺奉爷娘的女主角，著名的巾帼英雄，死后葬于故乡木兰山下。北朝北魏的地域面积很辽阔，南至江淮，据有荆州，而盘龙（西陵）位于大别山南麓，属于五水蛮，是被重点征兵的范围。北魏皇帝见其不愿受封，遂命文人作《木兰辞》以广其德。北魏分裂为东魏、西魏，西魏与萧梁反复争夺，盘龙最终归属萧梁，改名保城，随后归入南陈。隋朝统一南北后，将南陈北部重镇的保城县改为木兰县，以纪念女将军木兰的功德。唐人杜牧距离木兰时代很近，理应言必有据。明代戏剧家徐渭将《木兰诗》改编为杂剧《雌木兰替父从军》，将其定名为花木兰，设定为冀州人。明代文献考据学家焦竑在《焦氏笔乘》中说：“木兰，朱氏女子，代父从征。今齐安盘龙县北七十里，即隋木兰县。有木兰山、将军冢、忠烈庙，足以补《乐府题解》之缺。”如此说来，“西陵之女”实乃女强人，先有桑蚕圣母嫘祖，中有易装将军木兰，后有双刀女神蒋桂娘。《木兰辞》见诸北宋郭茂倩《乐府诗集》，乃其中北朝最长叙事诗，其中另有南朝最长抒情诗《西洲曲》，而据温庭筠《西洲曲》中的“西洲风色好，遥见武昌楼”推测，西洲应在汉皋附近，乃黄鹤楼西侧长江中的古鹦鹉洲，也即可能为屈原所登临的鄂渚；亦有人认为是在鄂渚，武昌楼属于特指，并非代指黄鹤楼，而且西洲应在江北，也即鄂渚的芦洲（今得胜洲），正是位于鄂渚渡口的西北。由此可见，作为南北朝民歌双璧的《木兰辞》《西洲曲》，皆产生于荆江。其实，屈原《离骚》已是中国古代最长的抒情诗。

其间杜牧所写的最著名的诗作，当属作于麻城的《清明》：“清明时节雨纷纷，路上行人欲断魂。借问酒家何处有，牧童遥指杏花村。”此诗过于出名，以致关于杏花村与杏花村酒的地望，后世多地纷争不断，各执一词。麻城岐亭镇确有杏花村，杏花村确有酒家，而杜牧前往盘龙木兰山，必定途径岐亭镇。这里流传民谚云：“三里桃花店，四里杏花村，村头有美酒，店里有美人。”据《麻城县志前编》载，杏花村酒“纯以糯米酿者，其曲内无血肉品，故酒味最醇。漉净余滓，入瓷瓮固封贮之，经年色黄，味尤美。”北宋苏轼贬谪齐安时，多次前来岐亭拜会陈季常，饮酒作乐，其间作诗《陈季常所蓄朱陈村嫁娶图》：“我是朱陈旧使君，劝耕曾入杏花村。而今风物那堪画，县吏催钱夜打门。”这里应该是两人畅饮杏花村酒，顺便将朱陈村比作杏花村。此后，“江右诗派”诗人谢逸路过岐亭，拜念师祖苏轼，作词《江城子·题齐安杏花村馆驿壁》，上阕云：“杏花村馆酒旗风，水溶溶，飏残红。野渡舟横，杨柳绿阴浓。望断江南山色远，人不见，草连空。”清代中期，乾隆帝曾御赐巨匾“杏花古刹”于村庙。相比之下，翻遍缪钺编著的《杜牧年谱》，找不到杜牧到过三晋汾阳的记载。