曾国藩比胡林翼大一岁，都是湖南人，同属长沙府。
提起胡林翼，马上能想到的也许是他年轻时候轻裘肥马、放荡不羁的故事，胡林翼的父亲胡达源是探花出身，岳父是两江总督陶澎，家庭条件非常优渥。胡林翼很长时间内都以风流闻名，“常恣意声伎”，出入色情场所。
而曾国藩则出身普通农家，与胡林翼门第悬殊，生活水平和生活方式大不相同。胡林翼是少年天才，自幼非常聪明伶俐。成年后一表人才，状貌英伟，精悍之气，见于眉宇。而曾国藩天资平平，内幼儒缓。因此两个人共同在京的一年多，相敬而远之，只有一些礼节性的交往。
不过咸丰四年（1854年）之后，两个人却在抵达太平军的征途中成为非常默契的战友。
道光二十年（1840年），胡林翼做乡试副主考时受主考牵连，在官场上遇到挫折。第二年父亲去世，他扶棺而返，回家守制。乡居期间，胡林翼开始反省自己早年的放荡行骸的生涯，究心理学。
再度出山之后，胡林翼出任贵州安顺知府。安顺位于贵州中西部，山林崎岖，交通不便，最大问题是土匪横行。胡林翼因剿匪成绩突出，受咸丰皇帝赏识。
咸丰三年（1853年）底，胡林翼带领所募练兵勇600人，离开奋斗了八年的贵州，奔赴烽火处处的两湖。正在训练湘军准备出师的曾国藩派人给胡林翼送去了大批军用物资和两千两白银，又上奏朝廷，倾心推举，令胡林翼感激不已。
不久，曾国藩大军围攻九江，奏请胡林翼前来帮忙，从此，胡林翼成为曾国藩的直接部下。胡林翼情商极高，善居人下。虽然功名高于湘军名将罗泽南，却主动拜罗泽南为师。
在九江城下，湘军遭遇挫折，太平军军势由此复生，挥兵湖北，武汉再度告急。在曾国藩的大力提携下，胡林翼已经获得了湖北按察使的头衔，因此自请回援武汉。虽然江西局势非常紧张，但是曾国藩还是本着“欲立立人，欲达达人”之旨，慷慨的放胡林翼西上，以助他成就功名。并从紧张战事中，拨出石清吉部、王国才部数千精兵交给胡林翼。这六千精兵成了胡林翼起家的重要资本。
咸丰五年（1855年）六月，朝廷任命胡林翼为湖北巡抚。而此时湖北还在太平军手中，只有尽快拿下武汉，才能在湖北立足。于是，胡林翼向曾国藩请求援兵，指名战将罗泽南。
此时曾国藩正泥兵九江城下，进退不得。胡林翼请求罗泽南赴援，确实给曾国藩出了个难题。不放罗泽南，武汉确实一时难以拿下来，放走罗泽南，曾国藩自身安危难保。
但是一番犹豫之后，曾国藩还是派出了罗泽南。因为从当时天下大局看，武汉确实更为重要，而自己的安危则次之。曾国藩不但同意派出罗泽南军，而且从塔齐步军中抽调彭三元部、普承尧部，编入罗军，以增强其实力。
罗泽南开赴武汉，使得湘军的重心从江西转到湖北。曾国藩不但在政治上处于湘军集团的第二位，军事上也是第二号人物了。他坐困江西，一筹莫展，惊险万状。而胡林翼得此精兵，局面一下大为改观。虽然罗泽南不久战死，但是这支精锐部队却归了胡林翼。其后胡林翼能夺武汉，取九江，谋安徽屡建大功，都是得益于他掌握了湘军最精锐的罗泽南部。曾国藩关键时刻的自我牺牲，也是曾胡一生交往中的一个关键点。
罗泽南部撤出后，曾国藩在江西陷入困境，与家中不通信息，生死不明。二弟曾国华闯关赴湖北找胡林翼想办法援救大哥，尽管当时武汉正处胶着之际，回援江西会让湖北兵单力薄，但胡林翼还是慷慨拨出4000军队，开赴江西。曾国华从军数月后，三弟曾国荃也弃文从武，率兵前往江西救援。困处南昌的曾国藩终于绝路逢生，没有了生命危险。
