在分析了當前宋朝實施的移民政策後，趙昺也發現其中透露出了曆代祖宗的無奈和矛盾心理。宋朝因爲失去了地理上的庇護，外患始終是揮之不去的夢魇，而國家安全受到的外來威脅主要來自遼、夏、金、元。契丹給北宋造成的亡國威脅遠大于西夏，而西夏給北宋造成的國防壓力則遠甚于契丹。金不僅亡了北宋，而且長期對南宋國家安全造成嚴重威脅。元則最終滅了南宋。相比之下，西南少數民族對宋朝國家安全構不成威脅。
這種差别導緻宋朝對它們采取了不同策略。對西南少數民族，宋朝“禽獸畜之，務在羁縻，不深治也”。對西北諸政權，則以勁敵待之，積極防禦，不輕易主動發動戰争，争取、維持和平局面。兩種策略雖然都務在保持邊疆穩定，但在實施過程中，宋朝于前者表現出很大的主動性，于後者則受制于西北.諸政權，極爲被動。宋朝對歸明、歸朝、歸正人政策的諸多差别實源于此。
宋朝自建國後，一直想收複，但礙于契丹武力強盛，長期不能如願。澶淵之盟雖确立了宋遼長期的和平局面，但在國防上，北宋被動的地位一直未能改變，及時掌握遼在燕雲地區的動向，就顯得特别重要，而燕雲歸朝人可在其中發揮重要作用。
如此一來，與歸朝、歸正人相比，尤其是在對待西北歸明人上，在田宅、職田等方面享受更優厚的待遇，實則是爲了吸引更多的歸明人，雖然神宗曾說：“中國人固多，誠不賴夏人”，但歸明人對宋朝國防具有其他來歸之人不可替代的作用。但宋朝對西北歸明人的招誘、接納基本上被限制在戰争期間，而對西南歸明人的接納則不存在受制于人的問題。而在吸收了大量移民後，宋廷獲得了實惠的同時，也背上了沉重的負擔。
在安置“歸正人”的過程中，宋廷對于每一類人群都有其相應的政策，這些政策對于“歸正人”來說是非常優厚的。但是，“歸正人”優厚的待遇，不僅帶給了南宋政府極大的财政負擔，同時也激起了南方本地勢力的不滿。而政府在處理這類矛盾時，似乎并沒有太多好的辦法，他們一方面優待“歸正人”，一方面又不信任“歸正人”，甚至會迫于金朝的壓力遣返“歸正人”。
如此造成了“歸正人”在社會上的尴尬地位，也激起了“歸正人”的怨恨之心。當主戰派在朝廷上得勢的時候，南宋就會想盡一切辦法收納、誘使北人南遷，并給予最大的物資支持。當主守派得勢的時候，歸正人就會陷入很尴尬的局面，甚至有時面臨被遣返的下場，這些被迫北返的歸正人，飽受報複與歧視，生活常陷于絕境，必然會使這個群體對宋生産了嚴重的怨恨。
與此同時，在宋朝官冗、财政危機局面形成及日趨嚴重的過程中，歸明、歸朝、歸正人起到了推波助瀾作用。鑒于此，宋朝雖然總體上對他們采取了優待政策，但迫于壓力，隻能根據國家安全形勢及其所起作用的變化，在已有優待政策基礎上，進行适當調整，限制優待對象，降低優待标準，以緩解冗官、冗費和财政危機的壓力。
朝野中也對移民問題争論不休。支持者認爲，對歸正人的态度，顯示着宋王朝的“正統”，是收攬中原人心、争奪中原人才的一個必要舉措。同時可以增加人口與耕地面積，可以補充軍隊兵員，還可以了解敵國的内部情況與動向。因此，不僅不能拒絕，還要重金招納。
反對者認爲，這些南遷的歸正人是敵國的設下的毒計，利用這些流民來蠶食宋國。一方面，南遷官員衆多，使南宋冗官現象非常嚴重，給國家帶來巨大的負擔。另一方面，本來土地有限，蜂擁而入的歸正人侵占了宋人的土地，又增加了東南民衆的生存壓力，把原來的良民逼成“盜賊”。
還有在宋軍中，尤其是前線最具戰鬥力的部隊中，由于歸正人的比例逐年增加，使軍隊的管理出現隐患。端平年間，襄陽、唐州、鄧州、黃陂等地北軍相繼發動叛亂。一方面是這些北軍飽受排擠，另一方面是宋正軍在數量上不占優勢，使軍隊内部管理失控。
事實上的确米倉中會混有幾粒老鼠屎，大量的歸正人之中，其中投機者不少。有些僞造履曆以騙取南宋的官職，或不斷地索要官職差遣讓南宋朝廷疲于應付。有些歸正人官員在地方上作威作福，仗勢欺人，敗壞吏治，還有一些是金國人安插的奸細，或竊取情報或從事破壞活動。
這些都增加了南宋官員對歸正人的疑慮與不信任。而不信任感是長期存在于南宋朝廷之中的主流态度。包括朱熹，都直接把歸正人與漢代時的宦官、唐代時的藩鎮視爲一類，認爲這些人都是造成社會動亂的病根。因此，許多歸正的文官多不被授實職，添差後就将他們分散地安置在各州郡中。
在軍隊中，歸正人受排擠的現象更爲嚴重。影響最大的一個是山東李全的“忠義軍”，因爲宋對其采取利用與挑撥的策略，使“忠義軍”最終覆滅，名義上歸附宋國的山東全境因此落于蒙古手中。另一個是宋末的劉整，因爲受到排擠而投降忽必烈，成爲滅宋的一支重要力量……
“陛下，如何安置這些歸正人，是否需與朝中衆臣詳議之後再做主張？”劉辰翁見小皇帝久久不語，似是十分爲難，忍不住出聲道。
“不必，朕以爲要厚待這些歸正者！”趙昺擡起頭言道。
“陛下，前車之鑒不能忘啊！”劉辰翁還是提醒道。
“當前形勢已經大不同，我朝當前雖然尚處于守勢，但是我們的戰略是北伐中原，奪取燕雲，将鞑子遠逐漠北。因而招納歸正人并非是長久之計，這隻是權宜之策，一旦我們收複淮北，進軍中原，隻需就地安置便可，又何來歸正一說。”趙昺擺手道。
“陛下所言甚是有理，但臣……”劉辰翁聽了點點頭，卻欲言又止。
“須溪先生是擔心北伐失敗，則一切成空，我們仍需重新面對現下的問題，而那時将更爲棘手，對否？”趙昺笑笑說出了其心中所憂道。
“臣并非擔心陛下北伐中原，收複故土之決心，也非擔心陛下之能。隻是事有萬一，若是重蹈先朝覆轍，悔之晚矣！”劉辰翁施禮道。
“劉知府勿要過于憂心。要知當下已非當年，如今蒙元喪失江南财賦之地，财政日益困難。且其征戰數十年，兵力折損嚴重，卻難以補充，全靠簽發漢軍支撐，戰鬥力亦非從前。而我朝重歸江南，不需數年便會倉廪豐盈，又有數十萬精兵在手，北伐成功指日可待！”陳鳳林似乎又忘了陛下的警告，再次插言道。
“陳鎮撫使之言，本官也知不無道理。”劉辰翁颔首道。
“那劉知府還有何擔心？此戰我軍隻動員了一個師的兵力，便肅清了瓜步鎮之敵，早不是當年其幾百騎兵便能擊潰我們數萬大軍的時候了，隻要陛下一聲令下，沿江大軍一舉渡過大江，便能直取汴京，收複舊都……”陳鳳林牛皮哄哄地道。
“咳，當前我朝即便一時間難以收複江北，但是兵出西南，進取川蜀已成定局。而川蜀曆經蒙元數次屠戮，人口大減，需要大量人口填補，西南地區雖然已得進一步開發，卻也是地廣人稀。”趙昺對其的話有些聽不下去了，卻也沒有訓斥，幹咳一聲道。
“陛下所言不虛，即便江北曆經數十年的戰亂，人口也是大爲縮減，可謂十不足一。”劉辰翁歎口氣道。
“如此我朝人口非是太多，而是太少，将來說不定還需向江北大量移民，以填補空缺。且當下随着海外貿易的增加，所需商品将會暴增，也需要諸多的工匠參與其中，并非隻是限制于耕種土地，便也不會形成與江南百姓争奪土地，利益相侵的事情發生。”趙昺見其口風已然松動，接着言道。
“臣明白了，陛下是欲以優厚的待遇吸納歸正人前來江南，即可補充不足，也可進一步削弱蒙元實力！”劉辰翁言道。
“吸納和善待歸正人之事，還可起到動搖蒙元軍心的作用。此次數千蒙元驅丁反正，不惜犧牲性命主動協助我軍作戰，便足可見他們早已不堪蒙元的壓迫，才會冒死回歸。有他們現身說法，可以讓更多的江北人對我朝有歸附之心，同時也可提醒江南百姓。當下雖然将鞑子逐出江南，但并非就可高枕無虞，強敵依然在側，若是再下江南，便仍會遭受蹂躏，而隻有徹底擊敗蒙元才能過上真正的安逸生活！”趙昺又強調道。
“陛下深謀遠略，臣十分佩服，定會妥善安置這些歸正人。”劉辰翁施禮道，他發現小皇帝無論遇到什麽困難的事情，總是會從另外的角度予以突破，從中尋到解決的辦法，說服衆人妥善解決。
“須溪先生不僅要妥善安置這批歸正人，朕還想此乃我朝重歸江南後首次接納歸正人，還需形成一套制度。而朕卻也不能獨斷朝綱，因而想請須溪先生就此事上奏朝廷，才好仿效進而推廣到沿江諸府。不知先生可否助朕一臂之力！”趙昺拱手施禮道。
“臣自當效力！”劉辰翁聽罷立刻意識到皇帝是要自己做‘出頭鳥’，上奏朝廷重開招納歸正人制度。他知道此事做得好，自己便可名揚天下，并得到陛下的信任。即便受到群臣的摘指，而被追責，可他作爲皇帝的代言人，背後戳着大後台，結果壞也壞不到哪裏去。因而這筆買賣是隻賺不賠，便立刻起身施禮受命道。
“好，那須溪先生可先依舊例妥善安置這些歸正人，其中可做适當調整，但朕以爲還是将他們集中安置，再建新村爲好，這樣可避免他們初到江南的驚恐之心。不過也要派員多加引導，要他們熟悉朝廷法度和承擔的賦役，而非讓他們自感是一個特殊的存在，可以盡快融入我朝！”趙昺點點頭言道。
“是，臣定然會盡心竭力處理好此事，當尚需朝廷予以些支持，畢竟臣沒有擅動國孥之權！”劉辰翁笑笑也提出自己的條件。
“正當之事，朕自當支持，當下農時已過，可在夏收之後再從官田中撥付耕種。這期間正可擇地建村，所需耕牛、籽種、糧食及銀錢，在統計後先行從府中撥付，待朝廷審核後從本年上繳的稅賦中核銷即可！”趙昺言道。
“陛下，此戰繳獲了一批耕牛，屬下想還是轉交給建康府，那些家夥在軍中即無處安置，還需派人照看，又得搭上不少草料錢。”這時趙孟錦言道。
“也好，但朕不能占你的便宜，自會出錢按照時價贖買，記入繳獲！”趙昺點點頭道。
“陛下何須分得那麽清楚，都是爲了朝廷出力嗎？”陳鳳林笑着言道。
“非是如此，你也不要心存僥幸之心，賞罰自然要分明。士兵用命自當賞賜，朕若是當下侵占繳獲所得，看似減輕些支出，卻又豈不是讓衆将士失望！”趙昺擺手肅然言道。
“屬下明白了！”陳鳳林暗自捏了把冷汗道，看來此次自己是‘在劫難逃’了……