平定遼東
東漢末年軍閥混戰時，公孫度據有遼東。這個割據勢力對曹魏一直時叛時降，保持着半獨立的地位。公孫淵繼爲遼東太守後，對魏更加不遜。魏明帝震怒，派荊州刺史丘儉出任幽州刺史，時遼水大漲，丘儉不利而還。丘儉讨伐受阻，使公孫淵更加得意。景初元年（237年），原魏遼東太守公孫淵背叛魏國，自立爲燕王，置列百官，定都襄平（今遼甯遼陽）。公孫淵遣使南通孫權，封拜邊民，誘呼鮮卑，侵擾北方。
司馬懿出兵遼東
景初二年（238年）當年正月，司馬懿率牛金、胡遵等步騎四萬，從京師出發，經孤竹，越碣石，六月，進至遼水。公孫淵急令大将軍卑衍、楊祚等人率步騎數萬，依遼水圍塹20餘裏，堅壁高壘，阻擊魏軍。司馬懿采用聲東擊西之計，先在南線多張旗幟，佯攻圍塹，吸引敵軍主力，而以主力隐蔽渡過遼水，逼進敵軍的襄平本營，部将不解問其原因。司馬懿說：“敵人堅營高壘，就是想讓我們兵疲糧盡，若攻城，正中其計。
古人曰，敵雖高壘，不得不與我戰者，攻其所必救也。現在他們大軍在此，老巢卻空。我直指襄平，敵軍必懼，懼而求戰，破之必矣”。接着整頓陣列前進，敵軍果然出來截擊。司馬懿對諸将說：“我之所以不攻其營，正是要等現在的局面。”于是指揮魏軍痛擊，三戰皆捷，遂乘勝進圍襄平。
當初公孫淵聞魏軍來攻，求救于孫權，孫權也出兵爲其聲援，并給公孫淵寫信：“司馬懿善用兵所向無前，深深爲賢弟感到擔憂啊。”适逢連降大雨，遼水暴漲，平地數尺，魏軍恐懼，諸将思欲遷營。司馬懿下令有敢言遷營者斬，都督令史張靜違令被斬，軍心始安。公孫淵軍乘雨出城，打柴牧馬，安然自若。
魏将領請求出擊，司馬懿不允。司馬陳圭曰問司馬懿：“當年攻上庸，八路并進，晝夜不停，故能在一旬半時間裏，攻下堅城，殺了孟達。這次遠道而來，爲什麽行動卻更加緩慢？”司馬懿說：“當年孟達軍隊少而糧食能支持一年，我們的軍隊是孟達的四倍，糧食卻不足一月，以一月糧的軍隊對付有一年糧的軍隊，怎能不速戰速決？以四攻一，即使一半人傷亡，也是可行的，當時不計死傷，正是要爲有限的糧草争取時間。
而今敵兵多我軍少，敵糧少我糧多，又遇大雨，想速戰也不可能。從出兵開始，我就不擔心敵人來進攻，而是怕他們會逃跑。如今敵軍糧草将盡，我軍包圍尚未合攏，若現在搶掠牛馬，會逼他們逃走。兵者詭道，善因事變。他們憑借人多和大水，雖然饑困，也不肯就擒。這時候更當穩住對方，不能爲得小利而把敵人吓跑。”司馬懿将計就計，故意示弱。朝廷聽說雨大敵強，不少人請求召還司馬懿。魏明帝卻說：“司馬懿臨危制變，生擒公孫淵指日可待。”
月餘，雨停，水漸退去。魏軍完成對襄平的包圍，晝夜強攻。城内糧盡，死者甚多，其将楊祚等降。當時城中愈發震恐，公孫淵也很驚懼，八月，公孫淵派相國王建、禦史大夫柳甫請求解圍，司馬懿斬殺使者，發布檄文嚴責。公孫淵又派侍中衛演來請求定日期送人質，司馬懿拒絕人質。公孫淵欲從城南突圍，司馬懿縱兵擊破其軍，公孫淵戰死在梁水邊上。
入城後，司馬懿下令屠殺十五歲以上男子七千多人，收集屍體，築造京觀。而後他又把公孫淵所任公卿以下一律斬首，殺死将軍畢盛等二千多人，收編百姓四萬戶。
司馬懿釋放了當年被公孫淵篡奪官位的公孫恭，又爲被公孫淵迫害的綸直、賈範等人修了墳墓，表彰他們的後代。下令說：“古代讨伐一個國家，僅殺其中頑固兇惡的人而已。各位被公孫淵所連累的人，全部寬恕。中原人願意返回故鄉的，各随己願。”
當時司馬懿軍中有的士兵衣單寒冷，請求發給短襖，司馬懿不給，表示“襦者官物，人臣無私施也”。于是上奏朝廷，把一千多名六十歲以上的士兵解除兵役，送返回鄉。在原定一年的期限内，勝利班師。魏明帝派使者到薊去犒勞部隊，增司馬懿食昆陽縣，前後共二縣。曹魏數十年來遼東問題終于徹底解決。
托孤重臣
原本朝廷讓司馬懿便道往鎮關中。但當到達白屋時，有诏書召他火速回京，三日之間，诏書五至。魏明帝手書說：“間側息望到，到便直排閣入，視吾面”。據說，司馬懿在襄平時，曾夢見魏明帝枕在他膝上，說：“視吾面。”
他俯視，見魏明帝面有異色。如今一見诏書此語，大驚，乘追鋒車晝夜兼行，從白屋到京城，四百多裏，一夜而至。至則徑人嘉福殿内禦床旁邊，滿眼流淚，指問疾病。魏明帝拉着他的手，目視太子齊王，說：“以後事相托。死乃複可忍，吾忍死待君，得相見，無所複恨矣。”（《三國志魏書明帝紀》爲“吾疾甚，以後事屬君，君其與爽輔少子。吾得見君，無所恨。）
當天，魏明帝去世。時爲景初三年（239年）正月。齊王曹芳繼位，年僅八歲，司馬懿乃與大将軍曹爽一起接受遺诏輔佐少主。齊王即位，司馬懿任侍中、持節、都督中外諸軍、錄尚書事，和曹爽各統精兵三千人，共執朝政。曹爽欲排擠司馬懿，想讓尚書奏事先通過自己，以便專權，向天子進言，改任司馬懿爲大司馬。
朝臣們認爲以前大司馬，有好多都死在任上，不吉，于是任命司馬懿爲太傅，效仿西漢丞相蕭何那樣，入殿不趨，贊拜不名，劍履上殿。以世子司馬師爲散騎常侍，子弟三人爲列侯，四人爲騎都尉。司馬懿韬光養晦，大力拒絕不讓子弟爲官。