“三位大人深體上意，爲國分憂，此番雖然隻彈劾嶽飛一人，卻于大宋萬載江山實有莫大好處，不過坊間或有歧議，卻需諸位大人善自處之，如此則不勞老夫憂心矣！”秦桧娓娓而談，似是交待國政大事一般，諸臣也頻頻點頭稱是。
萬俟卨卻似意猶未足，問秦桧道：“言諸大将起行伍，知利不知義，畏死不畏法，高官大職，子女玉帛，已極其欲，嶽飛之罪如此昭彰，盍不以逗遛之罰、敗亡之誅、不用命之戮，使知所懼？”
秦桧舉茶輕啜：“姑待其時。”
衆臣凜然而退。
七月下旬，萬俟卨、何鑄、羅汝楫三人輪番進折彈劾嶽飛，罪名不一，其時張俊也返回行在，共同羅織罪名，以确保嶽飛此番辭相位之舉成功。
罪名一，“不避嫌疑，而妄貪非常之功；不量彼己，而幾敗國之大事”。這是指當年嶽飛要求趙構立儲君之事，作爲武将，實是大犯諱之事，怪不得當年趙構對嶽飛主說：“卿雖忠，然握兵于外,此事非卿所專預。”，另一件事則是反對和議了，這等國家大事，自然由趙構說了算，你嶽飛算哪根蔥？居然敢肆意胡說什麽“金人不可信，和議不可恃”！
罪名二，“竊見樞密副使嶽飛頃由簡拔，委以節制，慨然似有功名之志，人亦以此稱之。數年之間，寵數頻仍，官兼兩鎮，秩視二府，乃始安于榮利，不複爲國遠圖矣。飛自登樞管，郁郁不樂，日謀引去，以就安閑，每對士大夫但言山林之适。其誠與僞固不得而知，然以陛下眷待之隆，委任之峻，不思報稱，遽爲是計，亦憂國愛君者所不忍爲也。”
罪名三、“茲者銜命出使，則堅執偏見，欲棄山陽（楚州）而不守。以飛平昔不應至是，豈其忠衰于君，誠如古人之謂耶？”這簡直就是張俊的原話了！隻不過出面上奏的是萬俟卨、何鑄、羅汝楫而已。
本來還有應該有援淮不及時的罪名，卻因楊峻之計已經消除了。
趙構連得奏折，雖然心中竊喜，卻一時不便出手，反而壓住這些折子，偶爾透露一點給嶽飛。隻是嶽飛一時間轉不過彎來，總覺得聖眷尚渥，不過是一些臣子搬弄是非而已，也沒有往心裏去。韓世忠聞訊大急，憊夜過府，責嶽飛道：“楚州之事，如此明辯爾，當日秦桧以胡紡之力，曲意羅織某家罪名，也在聖上面前辯明，老弟若入大内，隻求與張俊廷辯，看那老賊如何自圓其說？！”
嶽飛黯然道：“韓兄之意，嶽某心領，隻是吾所無愧者，此心耳，何必辨。本自求去職，聖上不肯放爾，如此臣子進言于聖上，不是與嶽某方便麽？辯又何益！”
韓世忠知事不可爲，喟歎而去。
随後萬俟卨再奏曰：“臣比論列樞密副使嶽飛之罪，章已三上。陛下尊寵樞臣，眷眷然惟恐傷之，姑示優容，未加譴斥。臣謬當言責，安可但已。”趙構得之，仍不允，隻是在垂拱殿召見諸文臣時，偶爾提到此事，爲張俊辯護道：“飛于衆中倡言：楚州不可守，城安用修。蓋将士戍山陽（楚州）厭久，欲棄而之他，飛意在附下以要譽，故其言如此，朕何賴焉!”
秦桧趕緊附和：“飛對人之言乃至是，中外或未知也。”
嶽飛仍未自辯，而是立即再次上奏折請辭道：“臣性識疏暗，昧于事機，立功無毫發之微，論罪有丘山之積，豈惟曠職之可虞，抑亦妨賢之是懼，冀保全于終始，宜遠引于山林。”
趙構仍未出手，反而是在八月初，召嶽飛入垂拱殿，說是有要事相商。
“前日裏兀術放回韓恕等人，且緻書予朕，将欲和議，依嶽卿之意，此事便否？”
嶽飛心中氣苦，卻不便當面發作，隻得道：“陛下，此國家大計，臣恐不能倉卒間分說明白，且容臣稍退，必上奏以明此事利害！”
趙構也不多言，揮手讓嶽飛回府。
是夜，嶽飛才打聽得消息，說是兀術放韓恕、莫将二人回來，并送達一書緻趙構，上有“爰念昔者，國家推不世之恩，興滅繼絕，畀以河外，使專綏治，本朝偃息民兵，以求圖康。”“比來愈聞妄作，罔革前非，至於分遣不逞之徒，冒越河海，陰遣寇賊，剽攘城邑，考之載籍，蓋亦未有執迷怙亂至於此者，今茲薦将天威問罪江表，已會諸道大軍，水陸并進，師行之期，近在朝夕，義當先事以告，因遣莫将等回，惟閣下熟慮而善圖之！”
嶽飛聞說，大怒，連夜草奏，天明上奏：“金虜無故約和，必探我國之虛實。如從前正約和間，并兵盡舉，張浚不能迎遏，其軍大潰，失陷川、陝。兀術、韓常重兵攻淮西，是時韓世忠在楚州，亦無所措，遂求救于朝廷。後無旬日，盡失淮、楚，退兵回住鎮江，以拒江爲險，更無前進之意。大概行軍無方略，料敵無智勝，賞罰不明，信令不行，兵無鬥志，是以戰之不克，攻之不拔，則敗之由也。如臣提兵深入虜境，穎昌之戰，我兵大捷，虜衆奔潰，潛入汴京。當時若得戮力齊心，上下相副，并兵一舉，大事可成。今日兀術見我班師，有何懼而來約和？豈不僞詐。據臣所見，見爲害，不見爲利。”
趙構見奏大怒：“嶽蠻子如此直拗！”
八月九日，趙構終于下诏，罷了嶽飛的樞密副使，同時還複其武勝、定**兩鎮節度使之職，并充任提舉醴泉觀使，且保留了其“少保”的虛銜！
同時派遣光州觀察使、武功縣開國子劉光遠及成州團練使、武功縣開國子曹勳二人爲使，緻書兀術，其中有“下國恐懼，莫知所措，夫貪生畏死，乃人之常情，将士臨危，緻失常度，雖加誅戮，有不能罪之師，先事以告，仰見愛念盈厚，未忍棄絕下國君臣”“懇望太保左丞相侍中都元帥領省國公，特爲敷奏，曲加寬宥，許遣使人請命門下，生靈之幸，下國之願，非所敢忘也。惟祈留神加察幸甚。”等語。
這天楊峻還在柔福府上，胡天胡地，哪裏曉得發生偌大變故，待入夜時返家，才聽老秦說起，連門也不進了，勒馬就奔嶽府而去。