輿論戰如火如荼地在中原大地燃燒的同時，文帝楊堅也在不遺餘力地采取行動消減太子東宮的勢力。
“啓奏父皇，太子右衛率蘇孝慈等人結夥，密謀聲援東宮。”晉王楊廣私下裏向文帝楊堅彙報道。
“寡人剛剛露出點順應天意的口風，他們就開始結黨營私，實爲不忠！”文帝楊堅怒道。
“兒臣以爲此事宜疏不宜堵。”晉王楊廣谏言道。
“如何疏？”文帝楊堅考問道。
“太子府裏的能人志士說到底還是父皇您的臣子，他們不應該隻爲太子哥哥服務，故此兒臣希望父皇能選賢任能将他們安排到合适的職位上去。”晉王楊廣略微想了一會兒之後回答道。
文帝楊堅雖然疑心很重，但他不是個暴君，也沒想着把所有反對自己的人處死，故此他點了點頭，下令将蘇孝慈調出京城，改授淅州刺史。
看到幫自己說話的文官武官陸續被調離長安，太子楊勇的心裏明白自己的大勢已去，再做任何的掙紮都是多餘的了。
太子楊勇消停了一段時間，晉王楊廣的心卻依然沒有放下來。他安排楊素谏言文帝楊堅在大興宮北玄武門到宮城東北隅的至德門之間，每隔幾步就設置一個候人，來觀察東宮的動靜，事無巨細都要随時奏聞。
全方位高密度的監視讓文帝楊堅的心安穩了許多。
面對楊勇太子地位搖搖欲墜的境況，宰相高穎選擇了沉默。
可他此時選擇沉默已經晚了，已經不能再讓文帝楊堅安心了。
随着文帝楊堅廢太子步伐的一步步推進，天時地利人和都準備好了之後，文帝楊堅尋了個借口，把廢太子的最大阻力，太子楊勇的親家，大隋第一宰相，左仆射高穎罷免了。
高穎一直以爲自己是文帝楊堅身邊最受信任的人，文帝楊堅曾當衆誇贊他道：“高大人文治武功無人能及，參謀帷幄之中，決勝千裏之外”
以前文帝楊堅非常信任高穎，很多想要做的決定，都曾因爲高穎的反對而放棄了。如今卻因爲他是太子楊勇的親家，以前所做的一切努力，所有的信任全都化爲了烏有。
拿到罷免的诏書，高穎呵呵笑了幾聲，身心竟然輕松了不少。
“我終于可以不再受這些名和利左右了。”他歎息道。
話是這麽說，夜深人靜的時候他的心裏還是有點不甘的。
回想起自己追随文帝楊堅風風雨雨幾十年他心裏也有點暗悔站錯了隊，跟錯了人。
高穎做了将近二十年的宰相，這二十年間跟文帝楊堅之間大的矛盾沒有，小的矛盾不斷。
文帝楊堅沒有一次如此狠心抛棄過他。
開皇十八年的時候，文帝楊堅要攻打高麗，高穎堅持己見，堅決反對，認爲大隋還不具備攻打高麗的條件。文帝楊堅堅持要打，并派漢王楊涼爲主帥，高穎爲副帥。高穎不得不服從，結果因爲水土不服疾疫流行，軍隊十之八九病死，無功而返。
爲了這事朝廷上下議論紛紛，獨孤皇後也在文帝楊堅面前中傷高穎，說他陰奉陽違，消極抗命，根本就無心攻打高麗。
漢王楊涼也想文帝楊堅告狀說高穎做事不以大局爲重，不聽自己的調遣，經常跟自己吵架，‘兒萬幸沒有被高穎殺掉。’
----------
對于這些事情，文帝楊堅一笑置之，他的心裏于私來說确實對高穎不滿，于公卻依然很信任他，沒有生過半分罷免他的想法。
可如今，這個信任消失了，因爲皇權與儲權之争，消失了。
罷免高穎的借口是在文帝的授意下，晉王楊廣安排人做的。
開皇十八年，王世積的親信皇甫孝諧犯罪，逃到王世積處乞求他救命，世積拒絕收留他。皇甫孝諧最終被抓，并被發配桂州，臨行前他檢舉王世積陰謀叛變。
王世積跟高穎和元胄等人關系很好，在審問的時候，有一些宮中秘聞，王世積說是從高穎那裏得知的。
聽到這個消息，文帝楊堅大吃一驚：“高大人怎麽可能如此不謹慎的，寡人一向對他信任有加，他竟然辜負了寡人的信任，真是讓寡人傷心。”
以前有人狀告高穎謀反，文帝不問内情直接下令殺了告密者，這次卻說出了傷心的話語。
風向變了，善于見風使舵的有關職掌官吏又上奏說：“高和左右衛大将軍元旻、元胄，都與王世積交結往來，并接受了王世積贈送的名馬。”
文帝楊堅沒有猶豫，果斷下令追究高穎等人的罪行。
左衛大将軍元旻、右衛大将軍元胄被朝廷罷免了官職。
上柱國賀若弼、吳州總管宇文、刑部尚書薛胄、民部尚書斛律孝卿、兵部尚書柳述等一些跟高穎交好的朝廷重臣紛紛上奏申明高無罪。他們的行爲讓文帝楊堅疑心漸生，懷疑他們結黨營私，更加發怒，下令将這些爲高穎等人求情的人交付執法官吏問罪，表明自己絕不徇私枉法的決心。
此時文帝楊堅的态度已經非常明了，聰明的人都選擇了自掃門前雪，隻有不識趣的刑部尚書薛胄想依據刑律條文爲高穎辨明洗清冤屈，公正的對此案發表了意見。此事違背了皇上的旨意，他被戴枷囚禁起來，很久才赦免了他。
殺一儆百，薛胄被抓之後，百官群臣沒有人再敢爲高說情。
秋季，八月癸卯（初十），文帝楊堅正式下诏罷免了高穎的上柱國、尚書左仆射官職，法外容情給他保留了齊國公的爵位，讓他帶着齊國公的爵位回家養老。
高穎被免，意味着太子黨在朝野之中失去了最大的支持着，也意味着太子楊勇的廢黜不可避免。
太子楊勇被文帝楊堅打壓，這讓晉王楊廣産生了危機感，雖然他很高興看到這種局面，但他做事更加謙虛謹慎起來，知至知終都把自己擺在從屬的地位，生怕引起文帝楊堅的猜忌。