然而，并非所有人都喜欢河东君及牧斋之结合，有怀恶意诽谤者，有报方正不屑者，先生笺释诗集前，先把此两类人物指出，以辨别彼时对钱柳二人结合态度之不同者也。
首先是怀恶意者，代表为陈子龙之弟子王沄等，造谣言于诗词，传河东君之诗词为人代做，其愚不可及也。王沄《辋川诗钞四虞山柳枝词》第三首云：鄂君绣被狎同舟，并蒂芙蓉露未收。莫怪新诗刻烛敏，捉刀人已在床头。（原注：“吾郡有轻薄子钱岱勋，从姬为狎客，若仆隶，名之曰偕。姬与客赋诗，思或不继，辄从舟尾倩作，客不知也。归虞山后，偕亦从焉。吾友宋辕文有破钱词。”）范锴《华笑庼杂笔一顾苓河东君传》后附古梅华源木乂庵白牛道者题云：柳氏幼隶乐籍，侨居我郡，与钱生青雨称狎邪莫逆交。柳故有小才，其诗若书，皆钱所教也。已而归虞山，钱生为之介。
对于此类之说，先生毫不客气予以驳斥：王氏所言之钱岱勋，当与白牛道者所言之钱青雨同是一人，不过胜时称其名而道者举其号耳。宋辕文之《破钱词》今未得见，故此人本末无从考知。寅恪前论河东君与李存我及陈卧子之交好，已言及河东君之书法诗词皆受其影响。盖河东君当日之与诸文士往还，不仅狭暱之私，亦得观摩之效，杜少陵《戏为六绝句》之六所谓“转益多师”者，殆即此义欤？钱氏子或曾为河东君服役，亦未可知，但竟谓河东君之诗文乃其所代作，似卧子牧斋亦皆不察其事，则殊不近情理。推求此类诬谤之所由，盖当日社会女子才学远逊男子，忽睹河东君之拔萃出群，遂疑其作品皆倩人代替也。何况河东君又有仇人怨家，如宋王之流，造作蜚语，以隐密难辨之事为中伤之计者乎？至若其词旨之轻薄、伎俩之阴毒，深可鄙恶，更不必多论矣。
这类人是别有用心者，利用道德的大旗子，不用来约束自己，而用来苛求别人，乃是彼时穷酸文人之常态，可置之一笑。另一类人物，自以为读圣贤书，守夫子道，俨然孔夫子再世。然而此类人物，表明态度的方式，是不合作，不做锦上添花之事，以扫人兴致为乐也，属于迂腐一派别。代表人物为牧斋之塾师黄淳耀。
先生引四则资料，以说明黄氏之迂也：据钮琇《觚胜壹吴觚上 陶庵刚正》条云：
黄陶庵先生少有盛名，馆于同里侯氏，以道义相切劘。虞山钱宗伯有一子，名孙爱，甫成童，欲延师教之，而难其人，商之程孟阳。孟阳曰：我有故人子，嘉定黄蕴生，奇士也，与同里侯氏交三世矣，未可轻致。公雅与侯善，以情告侯，公可得也。宗伯乃具厚币，遣门下客李生至嘉定延之。李先见侯，道宗伯旨。侯力为劝驾，黄意不悦，强而后可。遂与李至宗伯家，宗伯待以殊礼。居浃月，孟阳出海棠小笺示黄。黄询唱者为谁，孟陽曰：宗伯如君柳夫人作也。子于帖括之暇，试点笔焉。陶庵变色曰：忝居师席，可与小君酬和乎？孟阳曰：此何伤？我亦偕诸君子和之矣。陶庵曰：先生耆年硕德，与主人为老友，固可无嫌。诸君亦非下帷于此者。若淳耀，则断乎不可。孟阳惭退。先是，曾馆某抚军幕府，有邑令闻先生在署，槖数百金赂先生父，令致书，俾为之左右。先生复父书曰：父生男之身，尤望生男之心。若行一不义，取一非有，男心先死矣，尚何以养父乎？其自命刚正如此。忠孝大节，岂临时激于意气者所能为乎？
