他在寺廟裏住了那麽久，卻未剃度，也沒給慶壽寺作出任何貢獻。
起初僧人們因姚芳的皇親國戚身份，對他有敬畏之心。但新任主持慶慧和尚，讓姚芳去救慶元不成，便已漸漸發現、姚芳這個人似乎已經被皇帝抛棄了；和尚們的态度也就變得愈發不恭。
加上姚芳一住就是近一年之久，僧人們終于開始對他不耐煩。隻是看在他出身的份上，供給齋飯而已。
姚芳也沒有錢，此時早已過得形同乞丐，每日十分消沉。姚家是很富有的，姚逢吉有侯爵、五軍都督官職，姚姬貴爲皇妃；但姚芳不同，他被免去錦衣衛的一切官職之後，便沒有了任何收入，也沒回家拿錢。時間一長，他便變成了如此模樣。
送信的宦官、在一間狼藉雜亂的齋房裏見到他時，也是搖頭歎息。
姚芳一眼就認出，這是妹妹的字迹。因爲姚姬的字寫得很隽秀、十分好看，也很好辨認。
妹妹在信中的用詞不太客氣，就像反過來變成了姐姐一樣教訓他，而且還頗有怨氣。
妹妹在信中寫道，長兄以前爲道衍做事，冷酷無情唯利是圖。後得聖上賞識，卻恃寵而驕不計後果，爲一個婦人肆意妄爲，讓聖上十分失望。
姚芳起初看到罵言，并沒有太多感覺。但他看到妹妹說、聖上對他十分失望時，竟然開始難受起來。
皇帝朱高煦對姚芳十分講情面，姚芳心裏是明白的，也念着恩情。姚芳還非常敬佩朱高煦的爲人與能耐，常常想得到朱高煦的認可和贊賞；朱高煦的态度，對讓姚芳在受多年欺騙之後、重新認識自己很重要。
所以姚芳對這個算是親戚的皇帝，确實感覺到了某種複雜的親情。然而，如同父兄一樣的男性親戚，有時候規矩和權威、反而會蓋過情份；這是與母親或者姐妹的溫情相比，很不一樣。
姚芳小時候就沒見到父親了，後來雖然父子團聚，但他對效忠的朱高煦、反而更加在意。他想起了近一年來，朱高煦對他的不理不問、以及淡忘，還有妹妹提及的失望；姚芳的内心，忽然感受到了難以言表的痛楚……
他繼續看信中的内容。姚姬在前面一直埋怨責罵他，不過畢竟是親妹妹，她的責罵并無惡意；果然後邊的内容，便是爲姚芳出謀劃、試圖找出路了。
姚姬認爲，姚芳應該先回家去，找個媒婆向那個秦氏提親，将秦家娘子娶回姚家。因爲無論大明君臣還是庶民、看待一個人，道德十分重要。
如此就能與大理寺卿高賢甯解釋的理由、不謀而合，那便是因爲姚芳出于傾慕與好意，才在别人的婚禮上幹了那種事；搶親确實不合律法、十分出格，卻更容易得到人們的理解。隻要姚芳娶了秦氏，便能佐證這樣的搶親動機，因爲聯姻又對秦氏的清白負責，姚芳便能得到世人的同情寬恕了。
姚姬在道德上爲哥哥想了辦法之後，又給他找了一條蹊徑：去商人沈徐氏家謀個差事。
去年初，皇帝想辦法免了姚芳的死罪，不過姚芳想重新做官很難。沈徐氏雖是個商人，卻與聖上關系密切，可能會參與一些國家大事。姚芳若在商人沈家先做點事，極可能被聖上留意，重新得到聖上的信任。
姚姬還闡述了一些理由。沈家在“伐罪之役”時期資助過伐罪軍，居功不小，可當沈家想要染指鹽商生意時，卻被聖上阻止了。聖上又把北征期間水運軍需的生意，交給了沈家；并且讓龍江造船廠的工匠，幫助沈家建造海運商船。
以姚姬對朱高煦的了解，他似乎正在謀劃一件長遠的軍國大事，而沈家商人也在部署之内。大哥姚芳若想重回朝廷、爲聖上效力，走商人那邊的路子、正是另辟蹊徑。
妹妹在信中叮囑他，讓他重振旗鼓，勿要喪失志氣。
姚芳在混亂的齋房裏坐了很久，反複看了幾遍妹妹的書信。下午他終于離開了這間屋子。
今日豔陽高照，姚芳走出房間時，感覺陽光十分刺眼。
一如他去年走出诏獄的感受，對外面的世界開始有了不适應感。他的動作還是有點呆滞，或許那些僧人議論的對：姚芳的頭發沒有剃度，心中卻早已剃度。
不遠處的屋檐下有個和尚，稀奇地看着走到了大門口的姚芳。那和尚的眼裏有點鄙視，又仿佛松了一口氣的樣子。想來姚芳就算是家境極好，自己一灘爛泥也很容易被人瞧不起。
姚芳先去了皇城附近，他回家并不順路，但不知怎地走到這裏來了。
他路過了洪武門，現在這副狼狽的樣子、不可能被允許進城門，所以他徑直走了過去。在洪武門的東南邊，姚芳看到了戶部尚書夏元吉；夏元吉正站在一輛馬車旁邊，眼神怪異地瞧着某個地方。
夏元吉顯然沒認出衣衫狼藉的姚芳，他正十分出神地觀望着對面。
姚芳好奇地循着夏元吉的眼神，便見對面有一道大門，一些衙役正在梯子上下忙活，将一塊牌匾釘到大門上方。姚芳定睛一看，那不是聖上的字迹：假物院。
那道門挨着兩個衙門，隻要眼睛朝西邊挪，就能看到守禦司北署、守禦司南署的照壁。所以這個新開的“假物院”，有可能屬于守禦司的衙署。
沒一會兒，守禦司北署那邊，走出來了幾個人，當前的一個是姚芳認識的人：侯海。
侯海步行來到了街對面，到夏元吉跟前作揖道：“下官拜見夏部堂，您這大駕光臨，怎地不派人進來通報一聲？”侯海說罷，朝姚芳這邊看了一眼。
夏元吉回禮道：“本官隻是路過，看見這新挂的牌匾是聖上的題字，遂多看了一陣，無事不便叨擾侯左使。”
姚芳聽罷回顧周圍，皇城東南角這邊、如何“路過”？南邊、東邊都能看到内城城牆，除非專程到這邊的衙署辦事，人們根本不會來這個方向。夏元吉必定是專程來看的。
侯海笑道：“您對那地方有興緻呀，可得錢右使來接待才行。那是南署的地方，還沒‘開張’哩，正在做些準備。”
“不必，不必了。”夏元吉道。
侯海收住笑容，捋了一下山羊胡，便若有其事地吟了起來：“假輿馬者，非利足也，而緻千裏；假舟楫者，非能水也，而絕江河，君子生非異也，善假于物也……”
夏元吉道：“守禦司南署要開私塾，勸人就學嗎？”
侯海搖頭道：“夏部堂見識深遠，不過據下官所知，這‘假物院’的名字、隻是字面意思而已。守禦司南署是幹嘛的？假物院好像是爲了存放、修編一些書籍的地方，都是些有關技藝巧術的東西。裏面有從六部調來的小官吏員，也有翰林院的，還有鐵廠調任的人……”
就在這時，侯海道了歉，徑直往姚芳這邊走了過來。稍近一些了，侯海忽然便驚訝道：“這不是姚将軍嗎？我說怎麽瞧着眼熟！”
姚芳抱拳道：“不敢當，而今我已是一介庶民。”
侯海笑道：“好說好說。”
姚芳又走向夏元吉，抱拳道：“草民拜見夏部堂。”
夏元吉随意拱手，瞪眼道：“你怎這般模樣？老夫竟未認出！”
姚芳搖頭道：“說來話長。”
這個夏元吉是文官，早在建文朝就見過姚芳，但二人本來就不熟，他沒認出姚芳實屬正常。反而侯海因爲原先是漢王府近臣，與姚芳打過不少交道。
寒暄兩句，夏元吉就與姚芳無話可說了。他一個尚書，确實與姚芳這種人沒啥可談的，能說上話，無非隻是看在賢妃、侯爵姚逢吉的面子上。
夏元吉很快轉身面向了侯海。侯海道：“‘假物院’就是個小衙門，從守禦司到南署、到假物院，品級不高，夏部堂爲啥如此在意？”
夏元吉不客氣地說道：“品級不高，卻是個銷金窟。”
侯海笑道：“聖上可說了，南署制作的‘春寒’，再花兩百萬貫也值！何況那也是個正三品衙門啊。”
夏元吉搖頭不語。
姚芳明白夏元吉的意思，也懂一些官府的實情，畢竟他是做過多年武官的人。京師開銷最大的衙門，無非就是六部，不過六部都有自己來錢的法子，并不完全依靠戶部掌管錢糧。而這個守禦司應該是沒有收入的，完全靠撥款。
三人站在一起談論了一陣，姚芳幾乎插不上嘴。他一個武夫，現在又卸任了錦衣衛的官職，難免日漸被官僚們疏遠。
沒一會兒，夏元吉告辭，姚芳也與侯海道别，各自分道揚镳。
姚芳走着，忍不住回頭，又看了一眼那個新設的假物院；連尚書級别的大臣，也專程來觀望，可見其中的牽扯并不是那麽簡單，可能已經到了國家大政的程度。姚芳感覺今上執政之後，有些甚麽東西、好似正在緩慢漸進地變化着。