北魏孝昌三年，達摩抵達少林寺，達摩抵達少林寺後便在少林寺旁不遠的嵩山西麓五乳峰的中峰上部、離絕頂不遠的一孔天然石洞中面壁九年。他就在這個石洞裏，面對石壁，端端正正的坐在那裏，兩腿曲盤，兩手作彌陀印，雙目下視，五心朝天入定。開定後，他就站起身來，作一些徑行活動，鍛煉一下身體，待倦怠恢複後，又是坐禅入定。就這樣進行了長達九年的修性坐禅。
最終悟出了一樣能讓中原人們接受的佛法：東土禅宗。禅宗不需要言語文字來闡述，隻要了解自己的心性，就可以悟道成佛。所以有些大師雖然一個字也不認識，也毫不妨礙成爲大師。比如後來的禅宗六祖慧能大師，就不識字，但是他吟出了一首堪稱禅宗高度總結的詩：
菩提本無樹，明鏡亦非台；
本來無一物，何處惹塵埃。
達摩面壁
他用“頓悟”來講述禅宗，随時随地，講究的是内心的理解和明淨。
傳聞傳說
關于神光
時神光于伊洛披覽群書，以曠達聞，慕師之高風，斷臂求法，師感其精誠，遂傳安心發行之真法，授彼一宗之心印，改名慧可。經九載，欲歸西方，囑慧可一宗之秘奧，授袈裟及楞伽經四卷。未久即入寂，葬于熊耳山上林寺。越三年，魏使宋雲度蔥嶺時，适逢達摩攜隻履歸西方。師之一生頗富傳奇，亦難辨其真僞。師之示寂年代有梁大通二年（528）、梁大同元年（535）或二年等異說。又梁武帝尊稱師爲“聖胄大師”；唐代宗賜“圓覺大師”之谥号，塔名空觀。
一葦渡江
竹林找到達摩“一葦渡江”石刻這塊“達摩畫像石碑”是明代弘治四年（公元1491年）所刻的，在碑上，達摩絡腮圓眼，拱手站立在渡江蘆葦上。在畫像左側篆刻着“大明弘治四年辛亥歲三月季春定山釋子八十翁……”字樣的文字。
“這塊石碑是1491年由80歲的臨濟宗三十二世住持高僧手繪的，主要描繪的就是達摩當年渡江的故事！”負責恢複和複建南京定山寺的智光法師回憶，在《梁史》和浦口地方志書中，都曾經記載過達摩在定山寺居住的故事。此次南京市博物館考古隊挖掘出定山寺遺址，加上這塊明代石刻的印證，“我們可以确認，這裏就是1500年前達摩的真正駐錫（居住）地。”
關于一葦渡江還有一種說法是達摩和梁武帝對話後，梁武帝深感懊悔，得知達摩離去的消息後，馬上派人騎騾追趕。追到幕府山中段時，兩邊山峰突然閉合，一行人被夾在兩峰之間。達摩正走到江邊，看見有人趕來，就在江邊折了一根蘆葦投入江中，化作一葉扁舟，飄然過江。至今，人們仍把幕府山的這座山峰叫做夾騾峰，把山北麓達摩休息過的山洞稱爲達摩洞。
今日長蘆禅寺内的一葦堂，就是爲紀念達摩渡江後參拜長蘆寺而建的。達摩“一葦渡江”後，在江北長蘆寺停留，後又至定山如禅院駐錫，面壁修行。定山寺至今留有“達摩岩”、“宴坐石”、達摩畫像碑等遺迹。其中，達摩畫像碑爲國内最早的達摩造像碑，比嵩山少林寺的祖師碑要早120多年。定山寺成爲禅宗重要叢林，被譽爲“達摩第一道場”。
少林禅緣
達摩過江以後，手持禅仗，信步而行，見山朝拜，遇寺坐禅，北魏孝昌三年（公元527年）到達了嵩山少林寺。達摩看到這裏群山環抱，森林茂密，山色秀麗，環境清幽，佛業興旺，談吐吻洽。心想，這真是一塊難得的佛門淨土。于是，他就把少林寺作爲他落迹傳教的道場。廣集僧徒，首傳禅宗。自此以後，達摩便成爲中國佛教禅宗的初祖，少林寺被稱爲中國佛教禅宗祖庭。
古人有詩贊日：
路行跨水複逢着，獨自凄凄暗渡江。
日下可憐雙象馬，二株嫩桂久昌昌。
達摩抵魏，遊嵩山少林寺，在那裏獨自修習禅定，時人稱他爲壁觀婆羅門。有道育、慧可二沙門禮見達摩，并親近和供養四、五年。達摩感覺他們真誠，傳授以衣法。又把四卷《楞伽經》授與慧可說︰‘我看中國人的根器于此經最爲相宜，你能依此而行，即能出離世間。
随着禅宗在中國的發展，達摩逐漸成爲傳說式的人物。首先是傳說達摩到金陵（今南京）時和梁武帝的問答。梁武帝是笃信佛教的帝王，他即位以後建寺、寫經、度僧、造像甚多，他很自負地詢問達摩︰‘我做了這些事有多少功德？’達摩卻說︰‘無功德。’
武帝又問︰‘何以無功德？’達摩說︰‘此是有爲之事，不是實在的功德。’武帝不能理解，達摩即渡江入魏。記載這個傳說的最古文獻是敦煌出土的佚名《曆代法寶記》（774年間撰）和唐·宗密《圓覺經大疏鈔》卷二之上。後來禅宗着名的《碧岩錄》把它作爲第一則‘頌古’。
遇毒而逝
達摩晚年的事迹，各傳都未明确記載。後人傳說他遇毒而逝，葬于熊耳山（今河南宜陽縣），但又傳魏使宋雲自西域回國時遇達摩于嵚嶺。達摩手攜隻履翩翩獨逝。所以又有‘隻履西歸’的傳說。
達摩到中國，正是當時的北魏時期。有一名國師菩提流支，很嫉妒達摩，多次加害都沒有成功。他叫人在達摩的飯菜裏下毒，達摩知道有毒，照吃不誤。吃完後就從口中吐出一條毒蛇來。直到有一天，達摩祖師已經确立慧可爲佛法的繼承人，他才決定圓寂。
隻履西歸
就在菩提流支第六次下毒害達摩，達摩才被毒死。他的弟子們将他用棺木安葬了。
也就在這一天，北魏的一個去西域的使臣宋雲，走到蔥嶺一帶，遇到達摩祖師，還與他問話：“大師，您将法傳給誰了？”
達摩祖師說：“你以後會知道的。我要回印度去了。”又脫下自己的一隻鞋給宋雲說：“你快點回去吧，你們的國王今天會死去。”
宋雲回來後談起此事，不相信達摩已死。于是衆人打開棺木一看，裏面隻有一隻鞋子。有人說，達摩祖師到中國來的時候已經有一百五十歲。