大业十一年（615年），隋炀帝任命唐国公李渊为河东宣慰大使，留守太原，赴山西镇压农民起义。

听到任命，李渊心中乐开了花，太原是大隋的军事重镇，兵源充足、粮草更是丰沛，各个大户府邸的储粮堆积如山。在隋朝内乱不断之际能够持守这样的兵家宝地，确实是上天的眷顾。让李渊开心的还有另一个的原因，太原乃是古代唐国封地，而今自已又是世袭的唐国公，仿佛上苍还在预示着更重要的意义。李渊就曾对亲信部属说：“太原地处要冲，位置相当重要，今后我们共同努力，让昔日唐国风采重新焕发出来。”

既然有了重大图谋，李渊到任后就命李世民在太原“密招豪友”，又命李建成在河东“潜结英俊”。李建成、李世民都很有谋略，经常广施钱财，接济贫困，而且广泛结交各种朋友，不管出身高低贵贱，也不管他是商贩还是赌徒，只要有一技之长，都收罗门下，即使有些失礼的举动，建成、世民也不会说什么，因此两兄弟都非常得人心，门下能人异士数不胜数。他又吩咐所有的儿子和下属：“从今往后，对来投拜的客人，一定要热情欢迎，盛情接待，无论贵贱、贫富，都要一视同仁，绝不能冷淡，若有谁不礼貌待客，我一定重重责罚。”经过父子三人的努力，太原一带的官僚、地主、豪商纷纷拥护李渊。史书记载的比较有名的就有：刘文静、刘弘基、殷开山、刘正会、温大雅、唐俭、武士彟、王长阶、权弘寿、姜宝谊、长孙顺德、杨毛、窦琮等。这些人对李渊建唐立下了汗马功劳。

公元616年，隋炀帝下诏，命李渊尽快剿灭历山飞的起义军。“历山飞”是太原郡附近的一支农民起义军王须拔部的手下大将魏刀儿的别号。这支起义军的营地在太原郡南部，人数有十余万，他们截断了上党郡与西河郡的内外联系，当时，王须拔自称漫天王，定国号为“燕”，一时声势浩大。李渊要巩固太原的势力也必须与之一战。

李渊与副留守王威只带领六千人马，在河西郡雀鼠谷口，与历山飞的两万人相遇。敌众我寡，李渊知道只能智取，早已经部署好了战略方针。就是让窦抗指挥一队老弱残兵挑着军旗，拖载着各种物资和军备，首先出战。正当起义军只顾抢粮抢物之时，二支精锐部队从两侧夹击，历山飞的这支常胜军被杀得溃乱不堪，大败而逃，丢下的尸体不计其数。“历山飞”大乱而退，李渊乘胜追击，所向披靡，直达“历山飞”腹地纵深。

此次战役，李渊从根本上铲除了这支起义军的势力根基，更加成功招降“历山飞”部属男女老少数万人。这是李渊首次奉着皇命却“假公济私”地扩充了自己的力量。

公元617年二月，刘武周在马邑起兵，杀死太守王仁恭，开放粮仓赈济灾民，并在马邑郡所管辖的各个城镇发布招降文书，饥民纷纷响应。没过多日，刘武周已得兵马一万余人，声势浩大，并投降突厥，自称天兴皇帝。

消息传到太原，李渊经过一番深思熟虑之后，认为这是公然招兵买兵，兴兵举事的最好借口。便让文静伪造了一份隋炀帝的敕书，征发太原、西河、雁门、马邑等郡年龄在二十岁以上、五十岁以下的全体男子为兵，并规定在年底的时候一起到涿郡集结，还扬言要再一次征讨高丽。这份假敕书传出之后，真是一石击起千层浪，各地人心惶惶，纷纷策划造反。于是李渊就命李世民与刘文静、刘弘基、长孙顺德等人，以讨伐刘武周为名分头到各地去招募兵士。远近各地的苦难百姓纷纷响应，不到半个月，竟有近万人应征而来。李渊这一招，厉害无比。无疑是加剧了全国民众的思想混乱，使那些频遭战乱、劳役之苦的广大百姓，思想上更加不满，激起了他们更加仇恨隋炀帝的心理，正是乱中添乱，而李渊就可以浑水摸鱼，乱中取胜，更能得到上下一致的支持了。李渊见时机成熟，暗中派人去河东郡召回儿子李建成、李元吉两兄弟；同时，又派人赴长安召女婿柴绍，要他立即赶赴晋阳，参与举兵之事。

太原的两个副留守，就是炀帝派来监视李渊等人的王威、高君雅，见李渊大量地招兵买马，齐集晋阳，不由起了疑心，想阻挠并计划向隋煬帝通报却被识破。李渊趁机借口他们勾结突厥，马上抓起来杀了。内患既除，外敌又何惧呢？李渊听从了刘文静的计策，派人备上丰盛厚礼，送到突厥可汗那里讲和，约他一起反隋，并承诺成事后，回报丰硕。突厥可汗听到好处如此丰富厚重，就答应帮助李渊。

公元617年七月，李渊率领兵将召开誓师大会，宣布正式起兵反隋。在发布的檄文里，李渊谴责隋炀帝一味听信谗言，杀害忠良，好穷兵黩武，致使民怒沸腾，“豺狼充于道路”，故此李渊要替天行道废掉昏君隋炀帝，尊为太上皇，拥立代王杨侑为帝。名义上他并不直接反隋，而只是反隋炀帝，仍然是一个大隋的“大忠臣”，这也是他号召天下的一种策略而已，巧妙地为自己博得了“名正义顺，荡夷群雄，以拯百姓于凶危”的美名。

李渊自称大将军，李建成和李世民分别是左右领军大都督，刘文静为司马，又把兵士都称为“义士”。他们带领三万人马浩浩荡荡离开太原，向关中长安进发。长安是以前都城所在，政治影响甚大；隋炀帝当初建东都，修运河，进攻高丽等等劳民伤财和破坏生产的活动，对关中影响颇小，因而阶级矛盾相对缓和，可以成为稳定的根据地；也不像矛盾尖锐、战火连绵的山东。另外，长安有黄河、函谷关等险要的自然屏障，进可以攻，退可以守，有利于军事行动。李渊把关中作为猎取的目标，也就显得他确有远见了。更何况，此时此刻，正逢李密、窦建德和杜伏威均在中原地区和江淮地区与隋军主力对战，而隋炀帝本人正坐镇江都。长安反倒成了隋朝军事力量最薄弱的地方。战机稍纵即逝，李渊可谓抓住了最佳时机。

进军路上，李建成与弟弟世民，身先士卒，与士兵同甘共苦。他们一路上力求不骚扰百姓，路旁菜果，非买不食，有偷窃者，马上进行赔偿，也不追究偷窃者。既争取了民心，又不轻易伤害军心。百姓们在隋统治者的残酷压榨下，对义军寄以新的希望，所以义师到来时，百姓供水供饭，进行慰劳；而义军遇有牛酒馈赠，则好意辞谢，竭力表明李家起兵与隋朝弊政不同。人们久苦隋政，见到这样的军队，自然人人感动，尽力支持。广大士兵见此情景，也更加鼓起了斗志。进至西河城下，李建成、世民兄弟未披盔甲，就察看地形，并下令不要伤害城内百姓，任其进出。次日，义军率兵攻城，飞梯刚靠城墙，士兵争先恐后，蜂涌而上，城内百姓在郡司法书佐朱知谨带领下，策动内应，引义军入城。这一仗打得干净利落，除杀了高德儒外，未伤一人，西河遂定。西河城里，李渊对七十岁以上的人都给以官职；对一些豪杰有才之人，招纳在军中随才任用。虽然行军匆忙，李渊却不辞辛劳，只见他口询耳闻，手书官秩，一日竟授官千余人，这种收买民心的做法亦可谓奇巧缜密，千古少见。

李渊的军兵到了霍邑（今山西霍县），遭到隋朝猛将宋老生的拦击。霍邑地势险要，西背汾水，东踞霍山，是易守难攻之地，又正赶上接连几天大雨，最糟的是连军粮运输也中断了。兵士中还纷纷传说突厥兵正准备偷袭太原。李渊动摇起来，想撤兵回到太原去。但李世民和李建成却一致地不同意，还力陈原由利弊消除了李渊撤兵的打算。

天一放晴，李渊命令部队出发，先向霍邑东南，沿山间小路前进，约在距城十里处驻营。李渊自带左右轻骑五六百人马，有意在霍邑城下东张西望，又在城东六七里之处停下，等待步兵前来，显得军队散乱又没有头绪。宋老生觉得李渊不会用兵，更不懂攻城的方法，就麻痹轻敌了，亲自带领三万人马冲出城来。两军拼杀在一起，呐喊声震天动地。关键时刻，李建成迅速率领左军七千人马，突然穿过一条斜路，直扑霍邑的东门下；李世民也带领右军七千人马，迅速插入霍邑的南门下。这左右两支人马突然从隋军的背后杀出，宋老生不由一惊，立刻意识到自己的军队已被前后夹击，处于被包围的困境，心中早乱了，此时，李渊让人大声喊道：“宋老生被活捉了！宋老生被活捉了！”隋军一听，心慌意乱，有的将兵器一丢，向无人处逃去；有的兵士索性不打了，跪在地上投降了。李渊急忙命令攻城，将士奋勇上前，在没有攻城器械的情况下，用搭人梯的办法，向霍邑发动最后攻击。日落西山的时候，李渊的军队终于攻占了霍邑，这是李渊在起兵之后取得的最重要的一次胜利。

占领了霍邑，就等于攻破了关中的第一道坚固的防线，在战略上自然是重大胜利，对于鼓舞李渊军队的士气，也起到了关键的作用。李渊攻占霍邑之后，立即犒赏三军，奖励有功将士，全军从将领到兵士，无不欢呼雀跃，如过节一般。因为李渊对部下不分身份贵贱，全是一视同仁，即使是奴仆，只要立了功，可以和主人一样受到重赏。李渊这样做，也有利于扩充军队，尤其是那些被压在最下层的劳动者，如奴仆、隶役等，终于享受到平等的待遇，自然对李渊更加效忠了。

在霍邑城里，李渊为了进一步扩大影响，对隋朝的官吏一律既往不咎，他宣布道：“对那些隋朝的旧官吏兵士全部重新授官，和在太原起兵时从军者一样，享受同等的待遇。凡关中将士要回乡的，都授以五品散官。”在李渊看来，官职是一种夺取政权的手段，人们之所以加入自己的军队，在很大程度上是为了取得高官厚禄，把这些许诺说在前面，有利于动员这些人为自己卖命。为了消除这些隋朝的官吏、将士们的疑虑，李渊还以厚礼安葬了宋老生，并在坟前立碑纪念。这些措施落实之后，在霍邑城内外影响甚大，前来参军的人络绎不绝，李渊把大量隋朝的残余力量都收归己用。随后势如破竹，临汾、绛郡、龙门纷纷来降。李渊的军队在关中的农民军的配合下，渡过黄河。留在长安的李渊的女儿太平公主的“娘子军”，也来响应大军进关。

十一月，李渊汇合李世民、李建成的兵马20多万攻打长安，守在长安的隋军哪还有抵抗的能力。李渊下令，不许侵犯隋朝的宗祠和宗室，违令者一律灭杀三族。李渊入城后，仿效当年汉高祖刘邦进入秦都咸阳的办法，封府库，收图籍，禁止军队抢掠居民的财产。接着杀掉了阻挡义军进入长安的绊脚石阴世师和骨仪，以及这两个人的爪牙崔毗伽、李仁政等十余人，然后宣布“约法十二条”，用他的法令代替了隋朝的法令。几天后把隋代王杨侑从东宫接出来，迎到隋朝皇宫大兴殿上，做了隋朝皇帝，这就是历史上的隋恭帝。至于那位声名狼藉的隋炀帝，被李渊遥尊为太上皇，意思是在名义上被取消了政治权力。至于李渊自己，当然不会把政治权力交给隋恭帝，他自己给自己定了一系列的名号，称“假黄钺、使持节、大都督内外诸军事、尚书令、大丞相，进封唐王”。李渊这个唐王已经在实际上拥有皇帝的一切权力了。