杨广偷眼观察，发现杨坚脸色铁青，知道他已上圈套，心中暗喜，表面上却更加伤心地哭道：“儿臣本无太子之能，还是让位给四弟吧，也免得他为此事再招兵买马，大动干戈，犯下杀身之罪……”
“是杨秀？!”杨坚勃然大怒道:“我早就看出他不安分，迟早是个忤逆之子。你即刻就去办理此事，将他给我押回来，囚入后宫。”
杨广一听父亲让自己去办理治罪四弟之事，心中欣喜若狂，但表面上却做出一副骨肉不忍相残的样子，跪在地上苦苦为四弟求情。他知道自己越求情，父皇越恨四弟，越不会饶他。果然杨坚不允，杨广便极不情愿地起身出宫。一出宫门，便手舞足蹈，乐癫癫地走了。
过了一段时间，杨秀以莫须有的罪名被文帝废为庶人，关押在后宫一隅。这时就只剩下五弟杨琼了。杨琼为人聪明机灵，任并州总管，手握兵权，又有众多谋士相助。所以杨广一时也未敢轻举妄动。