华山论剑之后，郭靖收到华筝的皮革信件，信上说蒙古大军不日即将南下攻打襄阳，让郭靖做好准备。于是郭靖和黄蓉日夜兼程，赶在蒙古军到达之前赶到襄阳：
两人寻了下处，候到二更过后，施展轻身功夫径入安抚使府。那安抚使吕文德正拥了姬妾，高坐饮酒为乐，其心其意的在安抚自己和姬妾。郭黄不人跳将下去，郭靖长揖说道：“小人有紧急军务禀告。”吕文德大惊，高叫：“有刺客！”推开姬妾，就往桌底钻去。郭靖大踏步上前，一把提起，说道：“安抚使休惊，小人并无相害之意，”将他推回原座。吕文德吓得面无人色，只是发抖。
接下来吕文德的举动也是懦弱无比，不仅害怕金兵，对蒙古兵也是缺乏防备意识，存有“蒙古与咱们丞相连盟攻金，决无他意”的天真幻想，那么历史上的吕文德真是这样么？
吕文德出生年月不详，《宋季三朝政要》记载：
文德，安丰人，魁悟勇悍，尝鬻薪城中。
吕文德乃现在安徽霍邱人，曾经在城中卖柴为生，但也有说吕文德出身土豪的，不管怎样，他是一介平民。后被南宋名臣赵葵相中，假如了宋军，此后数十年间，他屡建战功，位至显宦，家族子弟也都鸡犬升天，因此吕文德在朝中形成了庞大的军事集团。1234年，蒙古联宋灭金，第二年便开始南下灭宋，长达四十余年的蒙宋战争拉开序幕，吕文德也长期活跃在抗蒙前线。
《射雕英雄传》中关于郭靖黄蓉夜闯安抚使司的情节发生在1225年前后，其实历史上此时的吕文德正奋战在两淮前线，也无法在襄阳任职，直到1254年七月，宋理宗任命吕文德总统江陵、汉阳、归、峡、襄、郢军马事，暂置司公安，上下应援。即使这时，吕文德也是在公安办公的，没有在襄阳。1257年时，吕文德又被调往云贵一带，抵御兀良合台从云南的进攻。
此后，吕文德就一直辗转于云贵，四川和湖北等地，在《射雕》和《神雕》中，吕文德都是个胆小怕事，昏庸无为的守将，那是为了衬托郭靖夫妇的智勇双全，完全是为了故事情节需要，历史上的吕文德虽然也有诸多缺点，比如培植自己的家族势力，贪污腐化等问题，但在南宋那样一个大环境下，有将领愿意东征西讨也算少见。
晚年时，吕文德奉命戍守襄阳长达十四年，襄樊之战中与蒙古军对峙长达六年，这段历史应该就是《神雕》中郭襄被当作人质的那一段。后因城中弹尽粮绝被蒙军伯颜攻破，1270年吕文德病逝，其弟吕文焕、吕文福皆归降元朝。
