而自从原本占了上风的二征高句丽因为杨玄感在后方造反而失败后，大隋的境况就变得一发而不可收拾，土地兼并、人口过多、门阀之弊、官吏昏聩贪婪……数年来积攒的种种矛盾和问题纷纷爆发，整个国家乱做一团，日益破败。更糟糕的是，乱局又引发了更多的问题和更大的隐患：
如李渊、罗艺等一些地方军头眼见中央式微，忠心也日渐稀薄，对朝廷的命令开始阳奉阴违，甚至自立山头。等到杨广试图第四次征高句丽时，天下已然大乱，各地官员对此乱命暗暗抵制，最后征辽计划无疾而终，这说明大隋在事实上已经对攻下高句丽无能为力了。当杨广发现对这个忤逆了自己，还害得自己劳民伤财，大失脸面的罪魁祸首无可奈何时，他心中的恼火和郁闷可想而知。
一蹶不振杨广前半生顺风顺水，为天下人所敬重，在志得意满之际征高句丽，意图锦上添花，一心以为可以摧枯拉朽般轻易取胜，结果却因为过分自信轻敌，惨败而回，这不免令杨广在武勋上感到大为失意。由于迫不及待要洗雪前耻，重振大隋的声威，压服周边各部，也急于重塑自己的名望，他急急又对高句丽发动了两次大规模的攻伐，却每次都无功而返。而自从原本占了上风的二征高句丽因为杨玄感在后方造反而失败后，大隋的境况就变得一发而不可收拾，土地兼并、人口过多、门阀之弊、官吏昏聩贪婪……数年来积攒的种种矛盾和问题纷纷爆发，整个国家乱做一团，日益破败。
更糟糕的是，乱局又引发了更多的问题和更大的隐患：如李渊、罗艺等一些地方军头眼见中央式微，忠心也日渐稀薄，对朝廷的命令开始阳奉阴违，甚至自立山头。等到杨广试图第四次征高句丽时，天下已然大乱，各地官员对此乱命暗暗抵制，最后征辽计划无疾而终，这说明大隋在事实上已经对攻下高句丽无能为力了。当杨广发现对这个忤逆了自己，还害得自己劳民伤财，大失脸面的罪魁祸首无可奈何时，他心中的恼火和郁闷可想而知。衣食足才知荣辱。大部分老百姓并不太在意什么国家尊严、开疆扩土、宾服四夷，更考虑不到诸项劳民伤财的大工程和对外战争在将来的长治久安意义，他们真正在意的，只是缸里还有没有明天下锅的米，自己能不能带着一家老小挺过眼前的冬天。所以在连年的征发和痛苦的生活中，百姓对隋炀帝的感觉已经由曾经的崇拜变为了不满，这对一向自信好强的杨广打击极大。尤其是看到自己一手打造的，不久前还欣欣向荣的大隋王朝竟然已经有了崩塌之象，这种巨大的反差让素来骄傲的杨广根本无法接受，这个一直信心满满的帝王一下子垮了，他的精神大不如前，整个人看起来也不像原来那样乐观、雄心勃勃，有时甚至会在别人看不到的地方偷偷落泪，就像是一个受了委屈的孩子。此时的隋炀帝也曾试图要励精图治，革除积弊，重整气象，但当他坐在龙椅之上想有些做为时，才发现这个帝国早已被各家门阀贵族所把持，早已经有了一套完善的盘剥百姓、非法攫取财富的流程，形成了一条完整的链条，即使他贵为皇帝，也无力与这张庞大的利益网做对。所以虽然他的许多改革政令相当不错，但在大部分执行者都阳奉阴违之下，也根本无法真正落实，有些甚至还会被歪曲成祸民的乱命，而受害的百姓又会把不满归结到颁布政令的皇帝头上……天下局势越来越乱，杨广却欲振乏力，眼睁睁看着大厦将倾，却无能为力，他又是生气又是无奈，曾经勃勃的锐气和进取之心也越来越淡薄，终于雄心散尽，彻底放弃了拯救帝国的努力。此时他骨子里的软弱开始占据上风，引领着他逃避现实，对贪官污吏盘剥百姓再也不闻不问，对满地的义军也不再上心，甚至开始自欺欺人，粉饰太平。从骨子里面看，杨广是一个不够坚执的人，对人对己都不够狠。当顺风顺水时，他就越干越起劲，也能越干越好，显得雄才大略，精明睿智；但一遇到困难，就方寸大乱，退缩逃避，坐视局面越来越糟。在长达三四年的时间里，流寇早已不再是疥藓之患，但裴矩、裴蕴、宇文述、虞世基、郑善果、封德彝这些能臣和当代名士们们一直坚持流寇克日即灭，竭力掩盖乱局。而做为英明神武的大隋皇帝，杨广自己也极力要妆点这个盛世的假象，于是他以“危言耸听”的罪名贬斥了说真话的老纳言苏威、治书御史韦云、兵部尚书赵孝才，甚至还将越级上奏的建节尉任宗当庭杖毖，从此无人再敢为国进言。杨广的性情在压力下日渐扭曲，似乎具有了双重人格。这个一直显得睿智从容的男子变得耳软心活，优柔寡断，公私不分，他的精神时好时坏，情绪起伏无常，有时候能重现之前的英明，有时却又浑浑噩噩，糊里糊涂；有时果断固执，有时又偏听偏信，乱命迭出；有时候礼贤下士，有时却又忌贤妒能……他的身边迅速围上了一群只会捞好处不会做实事的马屁精，于是正确的国策坚持不下去，荒唐的命令却在这些小人的蛊惑下不断发出。就在大隋已经明显出现崩塌之象时，他没能积极补救，反倒放任自流，一味逃避，甚至在６１６年躲到江都不问政事，而把这个烂摊子交给留守洛阳的越王杨侗和权贵段达等人处理。等到了扬州之后，杨广见局势日渐混乱，更是心灰意冷，终日烦躁不安。当时国政糜烂，各地送来的告急