胡惟庸是安徽定远人，他是朱元璋攻取安徽和州的时候前来归顺的。大明王朝建立后，他从一个地方的小官吏做到中书省丞相。
胡惟庸做了丞相以后，仗着皇帝老乡对他的宠任，在朝廷中大肆结党营私，组成了一个以他为首的淮人官僚集团，排斥那些与他政见不合的官员，稍有不满就让他有杀身之祸。由于他位至丞相，不仅自己操纵着这种生杀黜陟的大权，而且有些重大的事情也不向皇帝奏闻，总是自己独断专行。如果有人呈现奏章，胡惟庸一定先私下拆开看看，对那些不利于自己的就藏匿起来，不让皇帝知道。
这样，在朝廷上下那些专会阿谀奉承看人眼色行事的人，纷纷投靠在他的门下，为他奔走效劳。
胡惟庸身后有着一大批的追随者，他做起事来更是肆无忌惮。大量贪污受贿，把一些金银财宝、名马器玩都据为己有。
胡惟庸这种行为，引起了朝中一些忠直大臣的不满，其中魏国公徐达就很嫉恨胡惟庸奸佞言行，便向朱元璋揭露他的种种胡作非为的罪行。胡惟庸得知后，一直怀恨在心，就企图通过收买徐达的看门家人，来陷害徐达。尽管他苦心积虑地想了很多方法，但最后还是没有得逞。
在胡惟庸没有当上丞相之前，刘基刘伯温就曾经和朱元璋说过，胡惟庸是一头不好驯服的小牛犊，一旦长成就很难驾驭。后来刘伯温与他的儿子一起给皇帝朱元璋上书，建议在浙闽交界的淡阳建立一处巡检司。因为在上书之前，刘伯温父子没有请示中书省，这样，胡惟庸就更加痛恨刘伯温了，指使他手下的一些官员进献谗言，想把刘伯温父子置于死地，只是皇帝朱元璋不想查办刘伯温的罪，胡惟庸的目的才没有达到。
可是，时间刚过不久，刘伯温病了，这时，胡惟庸假装关心，便带上一名医生前去探病，假装十分关心刘伯温病情，就让医生给刘伯温看病开药。刘伯温吃了那位医生开的药之后，就觉得心中有个硬块，像拳头一样大小的石头堵住胸口，一世神机妙算的大先生，人称诸葛亮转世的刘伯温没过多久，便死去了。
就这样，朝中不管官员地位的高低，只要对自己不满的，胡惟庸就会想方设法把他除掉置于死地。
胡惟庸这种胡作非为也引起了朱元璋的不满。尤其是在朱元璋执政第九年的时候，由于把行中书省改为布政使司之后，地方的控制指挥权都集中的中书省，胡惟庸的权利就更大了。这样，权利欲极强的朱元璋感到了大权落榜，有一种不安全的感觉。又加上皇太子朱标的性格比较仁弱，朱元璋担心自己死后，太子朱标治不了这些拥权自重的元勋宿将，存在军事叛变的可能性，于是，便下决心除去这些障碍，让朱标坐稳皇帝宝座。
在朱元璋做皇帝第十三年的时候，有人告发胡惟庸阴谋叛乱，朱元璋毫不留情地对胡惟庸进行了抄家灭族。
朱元璋在镇压胡惟庸集团的同时，又以镇压奸党为名，趁机杀了几家公侯大官僚。从这以后，胡惟庸这个案件就成了朱元璋进行政治斗争的工具了，凡是那些心怀怨恨的，或者是骄横跋扈的，对朱家皇族统治存在着危险的文武官员、大族地主们，都被不同程度地冠上罪名，罗织为胡党罪犯，被灭族抄家，株连几族。
胡惟庸这个案件株连蔓引，没完没了地持续了数年。后来又有人告发胡惟庸私通倭寇，阴谋内应外合，反叛朝廷，这样又牵连到一些官员。朱元璋在他执政的第23年再次大兴问罪，又杀了几十家公侯官员，就连位居功臣第一的太师韩国公李善长也被扯进胡惟庸的案件中。因李善长的侄儿是胡惟庸的侄女婿，就有人告发李、胡两家是亲家，来往密切，李善长曾和胡惟庸密谋造反。朱元璋也正好借此，假托有星变，要出灾难，得杀大臣应灾，就这样，把李善长一家70余口全部杀掉。这时，李善长已经77岁了。李善长死后一年，有人上疏替他喊冤说，善长和皇上可是同心协力，不惜生死帮助皇帝攻取天下，论功勋他应属众臣中第一位，生前就封为王公，死后还能封为王，而且他的儿子又是当朝驸马，亲戚也都被封了官，他作为人臣所应有的一切都有了。如果要说李善长他图谋不轨，那是尚未可知的，可是，要说他借助胡惟庸造反，却是荒唐可笑的。因为从人情的关系看，他爱自己的儿子一定胜爱过自己兄弟的儿子，已经是安享完全富贵的人了，一定不会谋取侥幸万一的富贵。况且，李善长与胡惟庸只是侄儿、侄女亲戚，而他与皇上则是亲儿、亲女亲戚。假使他助胡惟庸起事成功，不过也只是功臣第一罢了，他的地位和权势也不会胜过今天。朱元璋听了这些话，尽管心里很不高兴，可是他心里是清楚的，但假装不知道这个事理。
在连续几年的诛杀中，那些功臣宿将相继都被处死。太子朱标看到这种状况，心里很是难受，就向他的父皇朱元璋劝谏，不要滥杀无辜，伤了君臣之间的和气。朱元璋当时没有作声，第二天，为了讽喻太子，表明了自己的隐衷，他故意丢一根棘杖在地上，要太子朱标拿起来。朱标面有难色，朱元璋语带双关地说：“你怕棘不敢拿，我替你把这个棘拔掉，再交给你，你不就敢拿了吗？”
这就是朱元璋由胡惟庸这个案件杀了许多人的用心。
