过片推开一层，于情中布景。“返照”二句，所写仍是回塘、别浦之景色。落日的余辉，返照在荡漾的水波之上，迎接着由浦口流入的潮水。天空的流云，则带着一阵或几点微雨，洒向荷塘。这两句不仅本身写得生动，而且还暗示了荷花在塘、浦之间，自开自落，为时已久，屡经朝暮，饱历阴晴，而始终无人知道，无人采摘，用以比喻在自己的生活经历中，也遭遇过多少世事沧桑、人情冷暖。这样写景，就同时写出了人物的思想感情乃至性格。
“依依”一句，显然是从李白《渌水曲》“荷花娇欲语，愁杀荡舟人”变化而来。但指明“语”的对象为骚人，则比李诗的含义为丰富、深刻。屈原《离骚》：“制芰荷以为衣兮，集芙蓉以为裳。不吾知其亦已兮，苟余情其信芳。”
正因为屈原曾设想采集荷花（芙蓉也是荷花，见王逸《楚辞集注》）制作衣裳，以象征自己的芳洁，所以词中才也设想荷花于莲舟不来，蜂蝶不慕，自开自落的情况之下，要将满腔心事，告诉骚人。
但此事究属想象，故用一“似”字，与李诗用“欲”字同，显得虚而又活，幻而又真。王逸《〈离骚经〉章句序》中曾指出：“《离骚》之文，依《诗》取兴，引类譬喻。故善鸟、香草，以配忠贞……宓妃、佚女，以譬贤臣。”从这以后，香草、美女、贤士就成为三位一体了。在这首词中，作者以荷花（香草）自比，非常明显，而结尾两句，又因以“嫁”作比，涉及女性，就同样也将这三者连串了起来。
“当年”两句，以文言，是想象中荷花对骚人所倾吐的言语；以意言，则是作者的“夫子自道”。行文至此，花即是人，人即是花，合而为一了。“当年不肯嫁春风”，是反用张先的《一丛花令》“沉恨细思，不如桃杏，犹解嫁东风”，一看即知，而荷花之开，本不在春天，是在夏季，所以也很确切。春天本是百花齐放、万紫千红的时候，诗人既以花之开于春季，比作嫁给春风，则指出荷花之“不肯嫁春风”，就含有她具有一种不愿意和其它的花一样地争妍取怜那样一种高洁的、孤芳自赏的性格的意思在内。
这是写荷花的身份，同时也就是在写作者自己的身份。但是，当年不嫁，虽然是由于自己不肯，而红衣尽脱，芳心独苦，岂不是反而没由来地被秋风耽误了吗？这就又反映了作者由于自己性格与社会风习的矛盾冲突，以致始终仕路崎岖，沉沦下僚的感叹。
南唐中主《浣溪沙》云：“菡萏香销翠叶残，西风愁起绿波间。”王国维《人间词话》认为“大有众芳芜秽，美人迟暮之感”。（“惟草木之零落兮，恐美人之迟暮”“虽萎绝其亦何伤兮，哀众芳之芜秽”均《离骚》句。）
这位著名的文学批评家是敏感地察觉到了这个偏安小国的君主为自己不可知的前途而发出的叹息的。晏几道的《蝶恋花》咏荷花一首，可能是为小莲而作。其上、下片结句“照影弄妆娇欲语，西风岂是繁华主”和“朝落暮开空自许，竟无人解知心苦”，与这首词“无端却被秋风误”和“红衣脱尽芳心苦”的用笔用意，大致相近，可以参照。
由于古代诗人习惯于以男女之情比君臣之义、出处之节，以美女之不肯轻易嫁人比贤士之不肯随便出仕，所以也往往以美女之因择夫过严而迟迟不能结婚以致耽误了青春年少的悲哀，比贤士之因择主、择官过严而迟迟不能任职以致耽误了建立功业的机会的痛苦。
曹植《美女篇》：“佳人慕高义，求贤良独难。……盛年处房室，中夜起长叹。”杜甫《秦州见敕目薛、毕迁官》：“唤人看腰?，不嫁惜娉婷。”陈师道《长歌行》：“春风永巷闭娉婷，长使青楼误得名。不惜卷帘通一顾，怕君着眼未分明。”“当年不嫁惜娉婷，抹白施朱作后生。说与旁人须早计，随宜梳洗莫倾城。”虽立意措词有所不同，但都是以婚媾之事，比出处之节。这首词则通体以荷花为比，更为含蓄。
作者在词中隐然将荷花比作一位幽洁贞静、身世飘零的女子，借以抒发才士沦落不遇的感慨。《宋史》“虽要权倾一时，少不中意，极口诋之无遗辞。人以为近侠。竟以尚气使酒，不得美官，悒悒不得志”，这些记载，对于理解此词的深意颇有帮助。
