这一天，朱元璋私下里找到了刘伯温，以严肃的口气问刘伯温：“如果换掉李善长，你觉得谁可以做丞相？”刘伯温十分警觉，马上说道：“这要陛下决定，臣子不敢僭越。”朱元璋接着问：“你觉得杨宪如何？”朱元璋明知道杨宪是刘伯温的人，所以先提出此人来试探刘伯温，刘伯温明白这是一次陷阱重重的谈话，如果稍有不慎就会身首异处。他马上回答：“杨宪有丞相之才，但没有丞相之肚，不可。”朱元璋随后又问：“王广洋如何？”王广洋并不是淮西集团的成员，朱元璋怀疑他和刘伯温勾结，所以提到他。刘伯温回答道：“此人很见识短浅、色厉胆薄，不可。”
朱元璋很佩服的看了刘伯温一眼，他说出了第三人选：“胡惟庸如何？”刘伯温松了口气 ，“胡惟庸现在是一头小牛，但将来他一定会摆脱牛犁的束缚。”说完这话，刘伯温以为考验已经过去了，没想到朱元璋亮出杀招：“我的相位只有先生能担当了。”没想到刘伯温这样回答：“我并非不知道自己可以，但我这个人嫉恶如仇，皇上慢慢挑选吧。”末了又加上了一句话，“现在的这些人，在我看来并没有合适的。”朱元璋就此与刘伯温决裂。
至此，刘伯温不再得到朱元璋的信任，洪武三年（1370年），朱元璋亲自下诏书给刘伯温，叫他告老还乡。刘伯温只好回到乡下，他现在唯一的愿望就是好好在家养老，度此一生。
然而做了丞相的胡惟庸并没有放过刘伯温，指使手下状告刘伯温。于是朱元璋再次下诏处罚刘伯温，并且还扣除了刘伯温的退休金。洪武八年（1375年）正月，刘伯温生病了，朱元璋派胡惟庸探视刘伯温，不久刘伯温就死去了。
史书记载，刘伯温是吃了胡惟庸送的药之后，病情加剧而死。许多人认为这是朱元璋借了胡惟庸的刀杀掉刘伯温的。不久之后，胡惟庸全家亦遭灭门之灾。当然，朱元璋善于斩草除根，刘伯温的两个儿子也很优秀，不久分别因为胡惟庸的案子牵连而死。可惜刘伯温为朱元璋立下了那么大的功劳，却死得如此不明不白，而且殃及子孙，岂不让人心寒！
