有些野史，把那个普于蛰伏、长于自制、强毅 隐忍、雄图大志的杨广描写成了一个多年没有亲近过女人的色情狂。
根据一些野史记载：仁寿四年七月、文帝病危时，太子杨广写信向杨素询问文帝的病情，杨素回信给太子时，宫人却误送到文帝手中，文帝大怒。同时，文帝的宠妾宣华夫人告诉他，太子杨广欲行非礼。文帝这才下决心将太子杨广废掉，于是令柳述、元岩紧急召前太子杨勇前来，准备让他继承皇位。杨素得知这一消息后，马上报告杨广，杨广立即伪造圣旨，逮捕柳述、元岩将自己的心腹派到宫里，又派亲信宇文述等控制宫门，把后宫的人遣往别处。一切布置妥当后，杨广派张衡入宫待疾，不久文帝就驾崩了。
隋炀帝杨广相貌堂堂、风流侧傥、聪明伶俐，但荒淫无度。《唐书》说其弑父、弑兄、奸母、淫妹，亲媚臣、杀忠良。司马光在《资治通鉴》中，称其“智可以拒谏，诈足以饰非”。
“杨广献父”在史学界和学术界都颇具争议。关于文帝被弑的说法，唐朝编写的隋书在文帝和炀帝的本纪中均不采用。指控杨广“弑父”的资料都是出自野史和隋朝末年为了讨伐杨广而写的檄文，有可能为了政治需要而刻意歪曲事实，丑化隋炀帝。而唐朝既得天下，也必须将隋炀帝妖魔化，以证明白己取得帝位是顺应天意的。
也有学者说，秦始皇只留下了长城，杨广却给后世留下功在万代、远比长城更有实用价值的大运河，隋帝国的人口数量，已经创了历代之冠，国家财政实力也远远超过秦汉。
