張自忠剛毅寡言，但有較高的帶兵天賦。在他就任連長三個月後，他的第二連便在全旅各連軍事考核中奪得第一，成爲十六混成旅的“模範連”。模範連是馮玉祥治軍的樣闆，張自忠得此殊榮，幹得更加起勁了。經他訓練出來的全連126名士兵，後來幾乎個個成才，僅軍長、師長就出了十個，旅長、團長就更多了。從這時起，張自忠注重軍紀、治軍嚴厲的風格已經十分突出。遇有違反軍紀者，他初則說服教育，再則嚴厲訓斥，三則軍棍伺候。正如士兵們在歌謠裏所唱的：“教你學好不學好，鴨嘴軍棍挨上了。”後來，因張自忠對于違反軍紀的官兵常說一句口頭禅：“看我扒不了你的皮！”于是，被官兵們冠以“張扒皮”的诨号，全軍上下無人不曉。一首順口溜說：“石友三的鞭子，韓複榘的繩，梁冠英的扁擔賽如龍，張自忠扒皮真無情！”
“張扒皮”的渾号使人誤以爲此公是個無情無義、粗暴蠻橫的武夫，實則不然。張自忠愛兵如子，嚴中寓恩，深知“治兵先治心”的含義和“恩威并用”的運用之妙。以打軍棍爲例，張自忠并不是遇過即打，濫施棍杖，而是實行“八不打”，即：有病不打，盛氣不打，盛暑不打，飯前不打，無恩不打，罰過不打，夯兵不打，不知不打。可見，張自忠對于如何使用軍棍是十分講究輕重分寸的。
這樣一個人才，怎樣才能招到帳下？用金錢、名譽來引誘這位一身正氣的年輕軍官無疑行不通。張自忠從懂事起，就開始接受舊學的熏陶，父親的影響和學校的教育，都毫無二緻地歸一于孔孟之道，因此，強調忠、孝、仁、義的舊道德從小便在張自忠的内心深深紮下了根。學習之餘，張自忠常借一些小說來閱讀消遣。最讓他喜愛的是《三國演義》、《說唐》和《說嶽精忠傳》。這些古典名著對傳統道德作了活生生的注釋，關雲長、嶽武穆和秦叔寶的忠義俠行和浩然之氣令他心馳神往，由衷敬慕。他也曾在由營長提升爲團長時以才能和經驗隻勉強做一營長而上書懇辭，用地位引誘隻怕讓他哧之以鼻。
既然如此，直接曉以民族大義，以停止内戰、抵禦外侮來勸之歸順奉軍可能是一明智之舉。張自忠此時任馮玉祥衛隊團第三營的營長，奉命駐守在長豐縣。之所以派出衛隊守邊，實在是因爲他的攤子鋪得太大了，人手照顧不過來。
張自忠同樣對直軍以一已私利阻撓統一非常不滿，他對馮玉祥隻打自己的小算盤也頗有微詞。對南邊的奉軍少帥（他一直認爲人民軍是奉軍的一部分）也深表尊敬。少帥一改傳說中民國纨绔子弟的作風，通過卓有成效的“奉天經濟改革”，建立近來聲勢頗大的人民黨，安蒙、平甘、入陝、奪鄂、搶皖絲絲入扣，一氣呵成，顯示了其傑出的軍事、政治能力和戰略觀，吳佩孚、馮玉祥之輩的能力尚達不到那種境界。從張漢卿“不經意”間寫出的那首《清平樂amp;#8226；六盤山》也可以看出，張漢卿所圖非小，正所謂言爲心聲。
對于少帥親筆寫信招降，他既矛盾又感激：他不過是一個營長，張漢卿麾下有無數強将，竟然能看上默默無聞的自己，且竟然贊诩自己爲“國之良将”，頓感有一種知遇之恩。可是自己在馮玉祥帳下效力多年，頗有感情，自古忠臣不事二主，怎能在這種時刻抛棄馮師長？
張漢卿似是明了其心迹，在信的末尾誠懇地說；“我知荩忱（張自忠的字）兄忠義過人，但忠于國家謂之忠，忠于個人謂之義。人民軍以統一國家、強大民族爲已任，亟需如兄之人才爲輔。盼兄以民族大義爲重，舍小義而換得民族複興，則中國幸甚，百姓幸甚！”
思忖再三，張自忠決定加入人民軍，他在留給馮玉祥的信中說：“馮将軍敬啓：荩忱跟随師長已逾4年，每思報效國家，終恨無門。民國自成立以來，軍閥混戰，民不聊生。張少帥漢卿者，以統一國家振興民族爲已任，素爲荩忱所敬仰。今将棄君而奔彼地，因行事匆匆，不及面辭。望将軍能以國事爲重，諒解荩忱一片苦心。我聞君子交絕，不出惡聲。臨别贈言，爲荩忱肺腑之語。”
張維玺、張自忠兩員大将加盟，使張漢卿欣喜異常。他也言出必諾，安排張維玺任于學忠第8師一旅代旅長，以張自忠任司令部高級參謀兼軍官教導團副團長（軍銜升爲上校）。
受其影響，佟麟閣也來到了少帥帳下，同樣也獲得了重用。有樣學樣，馮系士官接連跑了十幾個骨幹，有的甚至是連同所轄部隊一夜之間全部倒戈。
馮玉祥對張漢卿是吓怕了。他的幾員虎将一個一個先後離開，對他的部隊的穩定和士氣的影響是巨大的。他像一頭暴恕的獅子，将自己關在房内咆哮了一天。不過爲了防止更大的損失，他主動放棄了淮河以南的地盤，在皖北的部隊也全部都集中在幾個大城市，以有效避免人員流失。
人民軍援軍先頭部隊是在4天後進入合肥城中的。安徽民衆熱情歡迎人民軍的到來。早就聽說人民軍是民國初年中國軍紀最好的軍隊，真是聞名不如見面，見面勝似聞名。合肥大商趙延宗在清晨推開窗戶時，意外地發現自家樓底下的光明大道兩旁整整齊齊的人民軍士兵席地而卧，整整一夜都沒有民衆受到驚擾，這是民國軍閥征戰各方所從沒有的事情，不由得從心底呼喊：“得民心者得天下，人民軍得天下已經不遠了！”