匈奴人是夏朝的遺民。《史記·匈奴列傳》記載：“匈奴，其先祖夏後氏之苗裔也，曰淳維。”。《山海經·大荒北經》稱：犬戎與夏人同祖，皆出于黃帝。《史記索隐》引張晏的話說：“淳維以殷時奔北邊。”意即夏的後裔淳維，在商朝時逃到北邊，子孫繁衍成了匈奴。還有一說認爲，移居北地的夏之後裔，是夏桀的兒子。夏桀流放三年而死，其子獯鬻帶著父親留下的妻妾，避居北野，随畜移徙，即是中國所稱的匈奴。
王國維在《鬼方昆夷猃狁考》中，把匈奴名稱的演變作了系統的概括，認爲商朝時的鬼方、混夷、獯鬻，周朝時的猃狁，春秋時的戎、狄，戰國時的胡，都是後世所謂的匈奴。
真正與匈奴進行大規模戰鬥是在漢朝。漢初前201年，韓王劉信投降匈奴。次年，漢高祖劉邦親率大軍征讨，在白登（今山西大同東北）被匈奴冒頓單于30餘萬騎兵圍困七晝夜。後用計逃脫，之後開始與匈奴和親。其後的文、景諸帝也是沿用和親政策以休養生息。前57年匈奴分裂，郅支單于獲勝據漠北，呼韓邪單于前51年南下投靠漢朝。前33年呼韓邪單于娶王昭君與漢修好。
48年，東漢初年，匈奴分裂爲兩部，呼韓邪單于之孫日逐王比率4萬多人南下附漢稱爲南匈奴，被漢朝安置在河套地區。留居漠北的稱爲北匈奴。89年到91年南匈奴與漢聯合夾擊北匈奴，先後敗之于漠北和阿爾泰山，迫使其西遷，從此北匈奴就從中國古書中消失。
187年，東漢末年黃巾起義、董卓專權之際，南匈奴發生内讧。195年，南匈奴參與了中原混戰，東漢蔡邕之女蔡文姬被擄掠去匈奴。202年，南匈奴首領歸附漢丞相曹操，蔡文姬歸漢。曹操将南匈奴分成五部。
4世紀初，匈奴族的五部大都督劉淵在成都王司馬穎手下爲将。乘西晉八王之亂之後的混亂時期，劉淵起兵占領了北中國的大部分地區，自稱漢王，311年劉淵子劉聰攻占洛陽，316年攻占長安，滅西晉。史稱前趙或漢趙。
匈奴與鮮卑的混血後代稱爲鐵弗人。鐵弗人劉勃勃被鮮卑拓跋氏擊敗後投奔羌人的後秦。後自認爲是末代的匈奴王，改姓赫連，在河套地區創立夏國，史稱胡夏。425年赫連勃勃卒，子赫連昌繼位。428年北魏俘赫連昌。赫連昌弟赫連定在平涼自稱夏皇帝。431年北魏俘赫連定，夏亡。夏國的國都統萬城是作爲遊牧民族的匈奴在東亞留下的唯一的遺迹。
匈奴融入靠近高麗的鮮卑的宇文氏部落，進入朝鮮半島。後來宇文氏篡西魏建立的北周政權，後被漢族外戚楊堅所篡。楊堅創立隋朝，統一中原。
以上是五胡十六國及南北朝時期，匈奴在中國曆史舞台上進行了最後一場演出。之後匈奴作爲一個獨立的民族從中國曆史中消失，和其他一些民族一起融入華夏族。匈奴後裔漢化後，所改漢姓有劉、賀、叢、呼延、萬俟等，很多生活在今天的陝西、山西和山東等地。