餘從江湖遊，接諸老緒餘，半生鑽研，僅得《短長錄》帙。秀岩李心傳先生見之，則曰：“餘有《朝野雜錄》至戊己矣，借此以助參訂之阙。”餘端平上書，得罪落南，無書相随。思得此錄增補近事，贻書索諸婦，報雲：“子錄非《資治通鑒》，奚益于遷臣逐客？火之久矣。”餘悒怏彌日，歎曰：“婦人女子，但知求全于匹夫，斯文奚咎焉？大抵人生天地間，惟閑中日月最難得。使餘塊然物，與世相忘，視筆硯簡編爲土苴，固亦可樂。幸而精力氣血未衰，豈忍自叛于筆硯簡編之舊？對越天地，報答日月，舍是而何爲耶？”因追憶舊錄，記事，必書，積至百，則名之《貴耳錄》。耳，爲人至貴，言由音入，事由言聽，古人有入耳著心之訓，又有貴耳賤目之說。怅前錄之已灰，喜斯集之脫稿，得婦在千裏外，雖聞有此錄，束緼之怒不及矣。錄尾述其大略，竊比太史公自序雲。淳祐元年十二月大雪日，東裏張端義序。
思陵偶持扇，乃祐陵禦筆，畫林檎花上鸜鹆。令曾觌進詩雲：“玉辇神遊事已空，尚餘奎藻寫春風。年年花鳥無窮意，盡在蒼梧落照中。”思陵感動出涕。《桯史》所載康與之，非也。
孝宗朝尚書鹿何年四十餘，上章乞緻其事，上驚谕宰臣問其由，何對：“臣無他，顧德不稱位，故稍矯世之不知分者耳。”以此語奏，上始遂其請。在朝者皆以詩祖之。何歸遂築堂，扁曰“見”，蓋取“人人盡道休官去，林下何曾見人”之句。
慈聖日見神考不悅，問其所以，神考答曰：“廷臣有謗讪朝政者，欲議行。”慈聖曰：“莫非轼、轍也？老身嘗見仁祖時策士，大悅得二文士。問是誰，曰轼、轍也，朕留與子孫用。”神考色漸和。東坡始有黃州之谪，在台獄有二詩别子由。詩奏神考，慈聖亦閱之。曰：“聖主如天萬物春，小臣愚暗自亡身。百年未滿先償債，十口無歸更累人。是處青山可埋骨，他年夜雨獨傷神。與君世世爲兄弟，又結來生未了因。”“柏台霜氣夜凄凄，風動琅珰月向低。夢繞雲山心似鹿，魂飛湯火命如雞。眼中犀角真吾子，身後牛衣愧老妻。百歲神遊定何處，桐鄉知葬浙江西。”獄中聞湖、杭民作解厄道場屢月，故有此語。
徽考寶箓宮設醮，日，嘗親臨之。其道士伏章，久而方起。上問其故，對曰：“适至帝所，值奎宿奏事方畢，章始達。”上問曰：“奎宿何神？”答曰：“即本朝蘇轼也。”上大驚，因是使能之臣，谮言不入。雖道流之言出于戃恍，然不爲無補也。
壽皇未嘗忘中興之圖，有《新秋雨霁》詩雲：“平生雄武心，覽鏡朱顔在。豈惜嘗憂勤，規恢須廣大。”曾作《春賦》有曰：“予将觀登台之熙熙，包八荒之爲家。穆然若東風之振槁，灑然若膏雨之萌芽。生生之德，無時不佳，又何羨乎炫目之芳華？”示徐本中，命其校訂。曾觌因谮徐雲：“上《春賦》，本中在外言曾爲潤色。”壽皇頗不悅。本中自知閣換集英殿修撰，江東漕。後許國用此典故換文階。端平間，試詞科出壽皇《春賦頌》，試者皆不知之。此無五十年間事，士大夫罔聞之矣。
孝宗幸天竺及靈隐，有輝僧相随，見飛來峰，問輝曰：“既是飛來，如何不飛去？”對曰：“動不如靜。”又有觀音像，手持數珠，問曰：“何用？”曰：“要念觀音菩薩。”問：“自念則甚？”曰：“求人不如求己。”因進《圓覺經》二句：“使虛妄心若無，六塵則不能有。”經本四字句，以三句合而爲二句。孝宗大喜，有奎翰入石。
漢初黜申、韓，崇黃、老，蓋公有曰：“治道貴清靜。”仲舒三策本于黃、老，不失爲儒者。積至五七百年，東晉清談之士，酷嗜莊、老，以曠達超詣爲第等人物。
德壽中興之後，壽皇嗣服之時，《莊》、《老》二書，未嘗不在幾格間。或得二缁黃之講說，息兵愛民，不事紛華，深得簡淡之道。外廷儒者，多以此箴規，惟呂東萊言之甚切。嘗讀《中庸》、《大學》之書，不當流異端之學。殊不知聖心自與此理圓明，雖曰異端，自有理到處。尊經之意，不得不嚴。
章聖講《周禮》，至《典瑞》有“琀玉”，問之何義？講官答曰：“人臣卒，給之琀玉，欲使骨不朽耳。”章聖曰：“人臣但要名不朽，何用骨爲？”
德壽與講官言：“讀《資治通鑒》，知司馬光有宰相度量；讀《唐鑒》，知範祖禹有台谏手段。”雖學士大夫，未嘗說到這裏。
韋太後自北歸，有四聖圖，奉之甚嚴。委中官張去爲建四聖觀，秦相偶見之，問所以然。退以堂帖呼張去爲，張窘甚，泣告太後。思陵因朝退，語及建四聖觀本末。秦相奏雲：“先朝政以崇建宮觀，緻有靖康之變。内庭有所營造，豈容不令外臣知之？中貴自專，非宗社之福。”即日罷役，改爲都亭驿。後三年，思陵谕秦相，以孤山爲四聖觀，殿宇至今簡陋。
德壽在南内，壽皇奉親之孝，極盡其意。德壽好遊樂，壽皇日醉中，許進二十萬缗。久而不進，德壽問吳後：“北内曾許進二十萬缗，何不進來？”吳後雲：“在此久矣。偶醉中奏，不知是銀是錢，未敢遽進。”德壽雲：“要錢用耳。”吳後代進二十萬缗。壽皇感吳後之意，調娛父子之歡，倍四十萬缗以獻。本朝女後之賢，皆類此也。
曾懷在版曹，效蜀中造會子，始得三百萬。孝廟在宮中積三百萬見镪，準備換會。三五年，浙中粟賤，造六百萬爲和籴用。繼後印造，不止六百萬萬矣。辛未以二易，當時議者，必曰贻害于後。今以五易，倍于二易矣。十七界不及六十七文行用，殊不知十九界後出，又将十八界以十易矣。此項利害，難以虛言勝。愚民之術，至此而窮，學士大夫強出新奇，欲行稱提之法，愈稱提，則愈折閱矣。有小喻，子譬如寒士，将褐行質于予，本家無錢可贖，欲往其家講說《語》、《孟》，汝将所質見還。天下必無此理。今之稱提空談，何異講《語》、《孟》而取質也？
秦會之當國，偶虔州賊發，秦相得報，夜呼堂吏行劄，數日以賊聞。日，德壽問：“虔州有賊，何不奏聞？”奏雲：“小竊，不敢上勞聖聽，陛下何以知之？”上曰：“普安說。”秦既退，呼堂吏雲：“普安宮給使，請俸不齊，取榜來。”遂閣兩月。壽皇聖度高遠，亦不以此爲意。議者疏秦擅專之罪。德壽建思堂落成，壽皇同宴，問德壽何以曰“思堂”，德壽答曰：“思秦桧也。”由是秦氏之議少息。
壽皇忽問王丞相淮及執政：“近日曾得李彥穎信否？”“臣等方得李彥穎書，紹興新造蓬萊春酒甚佳，各廳送三十樽。”壽皇曰：“此間思堂春不好。”宰執卻不敢受。嘉定以來，有珠玉之貢，聞此可愧矣。
壽皇議遣湯鵬舉使北，沈詹事樞在同列間發語，操吳音曰：“官家好呆。”此語遂達于上，大怒，差四從官審責沈，曾與不曾有此語。對雲：“臣有此語。”即日谪筠州。湯侍禦史使北，壽皇專差中貴等人，使回程先取國書，星夜以聞。壽皇得之，啓匣，元封不開，國書複回。湯以專對失職得谪，沈以先言有驗得歸。
石湖範至能成大，以中書舍人爲祈請使，至北庭，頗立節。葛王臨辭有言曰：“天下是天下之天下，有德者得之。但使宋帝修德而已，不憂天下之不歸。”壽皇所以聖德日新，基于此也。