孟子所讲的昔者太王好色中的好色不是通常的好色，不是齐宣王自谓的寡人好色的好色。看《孟子》中的下文，孟老夫子是悄悄地转换了概念，太王好色其实是说太王喜爱妻子、相亲相爱、行为世范，从而影响当时的老百姓们都能积极找到人生伴侣，安居乐业，天下太平。而太王究竟有无齐宣王所谓的好色，其实是不得而知的。
食色性也，好色乃是一般人的本性，是骨子里的东西，说不定遗传基因其实就决定了的。好色是一种观点和态度，有些人表现它有些人隐藏它，当然也有一些人通过行为动作而反映它。当把脑袋里的好色抛出来、甚至做出些不妥当的事情，则成为了世人通常所贬的好色了。
但是，世上也的确有不好色之人。有几种情况，一种是脑袋坏掉了，完全不知好色为何物；一种是身体垮掉或情绪彻底消极了，完全提不起好色念头；还有一种最厉害的，通过“修行”而改变好色的本性。说到修行，佛门所说色即是空空即是色，当修行到看见色而非色，当然就不存在好色了。佛门还有革囊众秽一说，当把美女看成一堆皮肉器官，怎么还会好色呢。事实上，佛陀如果再懂得些现代科学会更好些，这样可以把革囊众秽看为细胞的集合或者分子原子的集合或者元素的集合，好歹连净秽之念也摒弃了。
