杨广继位后，大刀阔斧的迈出了他建立不世帝业的步伐，选人才，搞改革，重修东都洛阳，开凿和疏通长水渠，巡行天下，对外开战以显国威，等等。马不停蹄，夜以继日，征民征兵收税收粮，为了他的理想，亢奋的杨广并不在乎他的官员和百姓跟不跟得上他的步伐，反正他是帝国的老大，一切他说了算。但他到底堵不住天灾人怨，黄河水灾爆发了，农民起义也一个接一个的起来反抗了。
但是一心征讨高句丽的杨广对农民起义是不屑一顾的，你们想反就反，掀不起什么风浪，等他把高句丽据为己有，在回过头来好好算账。只是杨广太自信，自信到没有察觉高级官员中已经有了反对他的声音，以至于在他第二次东征高句丽的时候猝不及防的回撤大军赶回洛阳平叛，即便叛乱很快被平定了，但真正的影响对于杨广来说是致命的，那就是他快成为孤家寡人了。
这次叛乱的领导人物是杨玄感，出自弘农杨氏，一个关陇集团的贵族精英。而杨玄感的父亲正是大隋朝鼎鼎有名的杨素，杨素本就是大隋的开国功臣，并且杨广之所以能登基离不开杨素的筹谋。早在杨广还是晋王的时候，宇文述就为了杨广结交杨素，因为杨广要想做太子就必须得到杨素这样的重臣的支持，而杨素也的确选择了杨广，在多番谋划下，让杨广如愿坐上了太子之位，后来杨广能顺利继位又是杨素出力最多，杨广继位后杨谅反叛，同样离不开杨素的平叛，总之，杨素是一等一的大功臣。
杨素得到的自然也是加官进爵，各种赏赐不断。但是随之而来的就是杨广的猜忌，杨广太知道了杨素的能力了，所以他处处防着他，在杨素生病的时候不断派医生检查、治疗、询问，不过是为了刺探杨素的病情。杨素自然知道杨广的猜忌，所以表现得非常的贪财享乐等等，君臣反正是不可能和睦了。
杨广604年继位，杨素606年就死了。关于杨素的死因，有野史认为是杨广下毒害的，正史则说杨素是病死的，而且是杨素主动不再吃药任由病情加重而死的。不管是哪种死法，和杨广都有关系却是事实。
杨素死后，其长子杨玄感继承了他的楚国公爵位，虎父无犬子，杨玄感虽然小的时候差点被人当成痴呆，但大了真是一表人才，姿容俊美，读书骑射无一不精，靠着父荫很早就成了柱国，在做刺史的时候政绩也是很不错的。杨素死后，杨玄感很快升任礼部尚书，当然同样也被杨广所忌惮，而杨玄感自然也并不喜欢杨广，总想着为自己的父亲报仇，早就开始在背地里谋划着除掉杨广另立新君。
808年，杨广攻打土谷浑，而杨玄感也跟随大军前去，当他们第二年灭掉土谷浑回国的途中，杨玄感看到军纪涣散、官员狼狈，就和自己的叔父杨慎商量着动手除掉杨广，但是杨慎并不同意，在杨慎看来，杨广虽然失去了一些民心，但是拥护者还是比比皆是，现在并不是对杨广下手的好时机，所以他对杨玄感说：
“士心尚一，国未有衅，不可图也。”
杨玄感也不得不打消了杀死杨广的念头，继续等待合适的时机，这一等就是四年多。这期间发生了太多，杨广在作的道路上停不下来，而被他折磨的痛不欲生的百姓不得不丢下手中的锄头，转而换成大刀，聚众起义了。起义越来越多，而杨广还在执意攻打高句丽。613年，杨广不顾阻拦又开始了第二次东征高句丽，派杨玄感到黎阳督运粮草。
杨玄感的机会终于来了。
俗话说“兵马未动粮草先行”，粮草对行军打仗的重要性不言而喻。杨玄感和王仲伯、赵怀义等商量了一下，粮草的发运坚持拖和少两个原则，能少给就少给，能拖一天就晚一天。杨广在辽东自然会受到影响，曾派使者快马加鞭赶回来催促，而杨玄感委屈巴巴的说：
“水路多盗贼，不可前后而发。”
远在辽东的杨广只能忍了，杨玄感又秘密把在辽东战场上的兄弟们都招了回来，开始秘密为起事做准备，虽然讨伐杨广的时机成熟了，但也需要一个理由，毕竟杨玄感之前并没有建立什么军功，也没有多少威望，不可能随随便便号令士兵。于是杨玄感就把目光放在了刚刚出发准备从海上进攻平壤城的来护儿，他派人假扮使者从东部而来，说来护儿因为延误了军期要起兵反叛。
杨玄感义不容辞起兵讨伐来护儿，并传文书到附近的州郡响应起兵，而后来的瓦岗枭雄李密正是在这个时候来到杨玄感身边的，并很快成为杨玄感的军师，只是这两个人虽然志向都差不多，并且早年交往很密切，但是谋略却是不同。
杨玄感问计于李密，李密将自己的考虑全盘托出：
“今天子出征，远在辽外，地去幽州，悬隔千里，南有巨海之限，北有胡戎之患，中间一道，理极艰危。今公拥兵出其不意，长驱入蓟，直扼其喉。前有高丽，退无归路，不过旬朔，赍粮必尽。举麾一召，其众自降，不战而擒，此计之上也。关中四塞，天府之国，有卫文升，不足为意。若经城勿攻，西入长安，掩其无备，天子虽还，失其襟带。据险临之，固当必克，万全之势，此计之中也。若随近逐便，先向东都，顿坚城之下，胜负殊未可知，此计之下也。”
简单来说就是：北距涿郡为上策，西入长安为中策，而就近攻打洛阳为下策。不难看出，李密思维慎密，想得比较长远。
但是杨玄感却有自己的打算，他认为李密说的正好相反，攻打洛阳才应该是上策，原因就是百官的家属基本都在洛阳，只有控制了洛阳，才能号令天下，而且哪有这么近，却不攻打的道理呢，这样还怎么立威取天下?
并不能说杨玄感的想法就是错的，但他的这种想法需有一个前提，即洛阳是容易攻打的。但是，偏偏洛阳易守难攻，壁垒把守很严，并不会轻易被攻下，即便杨玄感占尽了天时地利人和，也无法短时间内撼动洛阳城，而杨广的大军很可能很快就回师自救。
杨玄感仿佛已经看到了胜利的曙光，又怎么指望他看到潜在的巨大危险？
杨玄感带着集结的上万人马准备围攻洛阳，而镇守洛阳的越王杨侗和将领樊子盖早已获知杨玄感反叛之事，正在调集人马守卫洛阳，一场大战即将开始。
杨玄感屯兵于尚书省的时候，部众已经达到了十几万，人数还在不断增加，他的起兵宣言非常的感人：
“我身为上柱国，家累巨万金，至于富贵，无所求也。今者不顾破家灭族者，但为天下解倒悬之急，救黎元之命耳。”
为了天下苍生，甘愿冒家破族灭的风险。被赋税和徭役压得喘不动气的百姓自然是万分拥护的。但是战争的形势却不容乐观，攻打洛阳实在不是一步好棋。
洛阳由樊子盖把守，而樊子盖对于杨玄感的招降信完全置之不理。留守长安的刑部尚书卫文升带领几万大军增援洛阳，虽然在与杨玄感的几次作战中均以失败告终，但杨玄感也不是没有损失，其弟杨玄挺被杀，而杨玄感也被牵制住了兵力。
远在辽东的杨广在得知杨玄感起兵后更是大为重视，派出了好几路人马，陈棱、屈突通都被派上了战场，而远在辽东的宇文述也带着命令领大军回师增援洛阳，还有本来海路进攻平壤城的来护儿也被指派回军攻打杨玄感。
一时间，杨玄感几乎四面楚歌，遂问计于李密和李子雄，两人的观点倒是相同，那就是入关，凭借潼关之险据守，杨玄感于是带着大军向西撤退，到了弘农宫的时候，杨玄感却停了下来。
他又被眼前的以点好处打动了，百姓们都告诉杨玄感应该打下弘农宫来，因为这个地方实在太好打了，不仅兵力空虚而且粮食很多，打下来简直是百利而无一害。
即便李密告诉杨玄感如果不能迅速占领潼关，他们将无路可退，杨玄感还是决定先打下弘农宫来。但是很不幸的，百姓口中容易攻下来的弘农宫，杨玄感用了三天时间还没有打下来。这一耽误不要紧，杨玄感再也没有机会到达潼关了，宇文述的大军很快赶到。
杨玄感再次节节败退，身边之人越来越少，最终杨玄感和杨积善兄弟俩带着十几个人狼狈不堪的逃窜，在走到葭芦戍的时候，逃无可逃，贵族出身的杨玄感自知再无活着的可能，遂对杨积善说：
“事败矣。我不能受人戮辱，汝可杀我。”
杨积善抽刀将杨玄感杀死，在准备自杀的时候被追兵拦下。轰轰烈烈的杨玄感反叛就这样被平定了。
杨广为了发泄心中的怒火，将杨玄感暴尸三天后分尸，一块块的用火烧掉；
将杨玄感的姓改为枭；
杨玄感的诸弟被杀。
但是，即便杨玄感叛乱在短短两个月的时间就被平定了，但这场叛乱带来的影响却是巨大的。它标志着杨广的统治集团内部已经出现了分裂，而关陇集团逐渐公开化的走到了杨广的对立面。几个农民起义杨广可以不在乎，但高级官员的起兵对他的打击却是致命的。
杨玄感死后不多时，另一个同样在黎阳督运粮草的关陇集团的高级官员再次被杨广所杀，这一次是李敏，同时被杀的还有李浑和李家三十二口人。
