淳熙八年（1181年）春，開工興建帶湖新居和莊園。辛棄疾根據帶湖四周的地形地勢，親自設計了“高處建舍，低處辟田”的莊園格局，并對家人說：“人生在勤，當以力田爲先。”因此，他把帶湖莊園取名爲“稼軒”，并以此自号“稼軒居士”。
辛棄疾也意識到自己“剛拙自信，年來不爲衆人所容”，所以早已做好了歸隐的準備。在被罷官時，帶湖新居正好落成，辛棄疾回到上饒，開始了他中年以後的閑居生活。
辛棄疾在此失意之時，作下了《破陣子》一詞，此詞雲：
醉裏挑燈看劍，夢回吹角連營。八百裏分麾下炙，五十弦翻塞外聲，沙場秋點兵。馬作的盧飛快，弓如霹靂弦驚。了卻君王天下事，赢得生前身後名。可憐白發生。
在當時的，常有人販子用一些财物或玩具誘騙年輕女子和小孩，稱要娶女子爲妻，或者是收養貧困人家的小孩，将人騙到手以後再轉賣，牟取利益。
辛棄疾對這些人販子深惡痛絕，雖然自己已經被罷官在上饒閑居。雖然身無官職，但是關心民生，也不是無事之人。在上饒還是有一些官兵好友，共同爲當地老百姓謀取福利。
雖無官職，但是常年以來，辛棄疾一直都有練武的習慣。當地的地痞流氓都不敢惹事招搖，百姓安居樂業。
在當時有個人販子集團，爲頭的人販子頭目叫李家琪，年僅二十多歲，長得油頭粉面，經常打扮得花枝招展誘騙少女和小孩，然後轉賣給其他州縣的富人或煙花之地。
李家琪和他的姐姐李憐花都幹着人販子的勾當。其中團夥之中，男男女女共一十八人。他們都有一個名号，叫富淡十八綠。
他們偶爾會有一些堪稱高明的計謀。例如，他們拐賣農村女子常用的招數，是讓團夥裏的女性騎着驢在各個村落之間遊蕩。一旦看到有鄉間女性騎驢外出的，女人販子就故意上前搭話，與被害人同行，一路上不停攀談。在此期間，女人販子暗中讓驢逐漸加速，并偏離正常路線，這樣，被害女性的驢也被帶動加速，越走越偏，不知不覺間已經迷路，落入了人販子的魔掌。
在拐賣兒童的方面，他們常用招數就是在點心裏下藥，誘騙給兒童食用。兒童食用之後就任憑他們的擺布。還有的人販子會尋找獨自在街上叫賣的小孩，以買東西沒帶錢爲由，讓小孩随自己回家拿錢，直接把人帶到人販子的窩點。
辛棄疾聯合當地縣令，抓捕這些人販子集團，把那些困在窩點的婦女兒童全部解救出來。
富淡十八綠這個人販子集團被一網打盡，全部被抓捕入獄，然後按照當時的大宋法律，全部判絞刑 。
行刑場上，十八名罪犯被驗明正身，然後當衆宣判：
“諸略人、略賣人爲奴婢者，絞刑；爲部曲者，流放三千裏；爲妻、妾、子、孫者，徒三年。”
罪犯受誅，圍觀的百姓紛紛喝彩。辛棄疾深受當地百姓愛戴。