這是莫大的信任和恩典。因爲帝國以孝治天下，除非萬不得已，官員在居喪期間都必須守在靈前。然而張九齡請求服喪期滿以後再來就職，卻被玄宗拒絕。非但如此，皇帝還在張九齡到京五個月後，将他和裴耀卿分别提拔爲中書令和門下侍中，建立起兩省長官同時在位的宰相班子。
張九齡感恩戴德，決心以忠誠報效陛下。
玄宗皇帝也很滿意。沒錯，創作了“海上生明月，天涯共此時”名句的張九齡是有名的才子，十三歲就寫得一手好文章，參加科舉考試也一舉進士及第，就連文壇領袖張說對他都贊不絕口。他的風度更是堪稱玉樹臨風，以至于玄宗皇帝每次選拔人才都要問上一句：像張九齡嗎？[48]
裴耀卿也不簡單。長期困擾帝國的糧食問題，就是他擔任轉運使期間解決的，據說三年之中積糧七百萬石，節省運費三十萬貫。有人建議他将這一成績上報朝廷，裴耀卿卻回答說：這原本就是公家的錢，怎麽能用來沽名釣譽？[49]
很好！張九齡有道德文章，裴耀卿有管理能力，取長補短相得益彰，又沒有個人恩怨，豈非最佳搭檔？
可惜誰都沒有想到，這又是一個短命的班子。開元二十四年（736）十一月，裴耀卿和張九齡被同時罷免，分别改任尚書省副長官左右丞相。這時，他們擔任侍中和中書令才兩年半，從“同中書門下平章事”算起也隻有三年。
一般認爲，這是因爲李林甫使壞。
以“奸相”之名載入史冊的李林甫，是在張九齡和裴耀卿被任命爲兩省長官的同時，擔任禮部尚書、同中書門下平章事的。論職權，他并不能與那兩位當然宰相分庭抗禮。論出身，作爲皇室遠親而進入官場的他，也與大多數科舉官員不同。但是，李林甫乖巧，懂得在張九齡面前裝弱智，唐玄宗面前抖機靈，結果君臣二人都被他蒙蔽，放松了警惕。
其實李林甫并非等閑之輩。正如當年提醒張說防範宇文融的是張九齡，跟宇文融一起聯名彈劾張說的監察部副部長也正是李林甫。可以說，李林甫繼承了宇文融的衣缽，就像張九齡在某種意義上是張說的傳人。
隻不過，李林甫更狡猾，張九齡更迂腐。
迂腐表現在張九齡剛剛任同中書門下平章事，就提出放棄國家對貨币發行的壟斷，允許民間鑄造銅錢。這個書生氣十足的提案立即遭到裴耀卿等人的強烈反對，結果當然是胎死腹中，反倒将張九齡的不切實際暴露無遺。
接下來又發生了一個案子。
案子倒也簡單。有兩個人謀殺了一位監察官員，原因是他們認爲該官員應該對自己父親的冤死負責。這樣的血親複仇有着悠久的傳統，也被民間視爲正當。因爲殺父之仇和奪妻之恨都是非報不可的，否則就不是男子漢。何況帝國既然以孝治天下，就沒有判處孝子死刑的道理。
因此，張九齡主張免于追究。
裴耀卿和李林甫則認爲王法無情，玄宗皇帝也認爲此例決不可開。他在敕書中說：國家制定法律，原本就是要禁止謀殺。如果每個人都可以私下複仇，請問天底下又有誰不是孝子？如此仇怨相報，惡性循環，又何時是個盡頭？于是玄宗皇帝下令将那二人杖殺，結果輿論嘩然。民間人士集資安葬了那兩位孝子，表示哀悼的詩文也傳遍朝野。[50]
很難說此事對張九齡的仕途影響如何，但他與玄宗理念不同應該已是不争的事實。事實上就在一兩個月前，張九齡便因爲一項任命跟皇帝陛下大起沖突。
事情也很簡單。有一位将領打敗了契丹，并将契丹王的頭顱傳送京城，讓皇帝郁積多年的悶氣一掃而空。因此按照李唐王朝出将入相的慣例，玄宗提出任命此人爲宰相。
張九齡卻說：宰相職位不是用來做獎品的。
唐玄宗說：給個名義，不管政務，行不？
張九齡說：名義也不能随便亂給。剛剛打敗了契丹就要當宰相，将來消滅了突厥又賞他什麽？
唐玄宗被嗆得半天說不出話來。[51]
過了一年多，張九齡與唐玄宗又起沖突，原因仍然是官員的任命。這次皇帝要獎勵的是河西節度使牛仙客，因爲他節約開支，勤于政事，讓防區之内兵強馬壯氣象一新。玄宗正需要這樣的人才，所以提出給他加封尚書的頭銜。
張九齡照例反對。
其實張九齡與牛仙客并無個人恩怨，反對的原因也僅僅由于在他看來，宰相和尚書應該是像他這樣的士大夫，而不該是長期在地方上工作的基層幹部，更不該是軍人。因此他極其傲慢地說：牛仙客當了尚書，朝廷會因之蒙羞。
玄宗隻好讓步：封個爵位總可以吧？
張九齡說：那也不行。爵位是用來獎勵功臣的。牛仙客隻是做好了本職工作，哪有功勞可言？陛下如果一定要予以嘉獎，多賞些金銀财寶就可以了。
皇帝終于忍無可忍，勃然變色說：天底下，難道什麽事情都得由你說了才算嗎？
張九齡跪倒在地說：臣愚蠢，不敢不實話實說。
玄宗皇帝一聲冷笑：你口口聲聲講資格，嫌牛仙客出身卑微上不了台面。那麽請問，你自己又是什麽門第？
張九齡說：牛仙客生于中原，是華夏正宗，确非臣這嶺南邊鄙野人可比。但，臣在朝廷畢竟任職多年，牛仙客卻是邊境小吏，胸無點墨，又豈能擔當重任？
玄宗皇帝恨得牙齒發癢。[52]
實際上這次皇帝發怒是有原因的。此前，爲了從洛陽還都長安，他就跟張九齡鬧得很不愉快。玄宗希望盡快，張九齡卻堅持等到入冬，理由是當時正值秋收。這件事最後是靠李林甫解決的。李林甫私下裏對皇帝說：長安和洛陽不過是陛下的西宮和東宮，想住就住，挑什麽日子？
封賞牛仙客的事也如願以償。這同樣因爲李林甫私下裏對皇帝說：隻要有才幹，何必一定要會寫文章？何況用人乃天子之權。天子想用誰就用誰，用誰不是用？[53]
玄宗皇帝很高興。
老天爺也似乎要幫李林甫的忙。離開洛陽那天，長安發生地震。玄宗趁機免去兩京當年的賦稅，又提拔獎賞沿途地方官員，赦免罪犯，于是一路聽到的都是歌功頌德。
更湊巧的是，回到長安不久，洛陽也地震了。這就讓玄宗認爲，他和李林甫的決定是正确的。而且，按照“天人合一”的理念，地震意味着宰相不合格，應予罷免。[54]
張九齡卻不知道自己危在旦夕，依然我行我素，結果由于爲某個涉案官員辯護，而被認爲是結黨營私。更何況在廢立太子的問題上，他也與玄宗意見相左，終于讓皇帝下定決心搬走這塊擋路的石頭，将他和裴耀卿一起罷免。[55]
推波助瀾的，當然又是李林甫。
實際上張九齡并無意于争權奪利，他甚至寫了一首名爲詠燕的詩送給李林甫。在詩中，張九齡以燕子的口氣表明了自己的心迹：無心與物競，鷹隼莫相猜。[56]
可惜，鷹隼并不會因爲燕子與世無争就不下手。李林甫既然要大權獨攬，就不會放過張九齡和裴耀卿。于是，并未與張九齡結黨的裴耀卿，也隻好成爲城門失火之時被殃及的池魚。據說，宣布任免決定時，兩位前宰相悲憤難言，李林甫洋洋得意，旁觀者則竊竊私語說：一雕挾兩兔。[57]
是的，李林甫笑了，笑得又陰又冷。