當時正是東漢政治極度黑暗之時，甚至有了買官制度。朝廷征其爲東郡太守，拜爲議郎，曹操不肯迎合權貴，遂托病回歸鄉裏，春夏讀書，秋冬弋獵，暫時隐居了。
當時天下紛亂，先是發生了冀州刺史王芬聯合南陽許攸、沛國周旌等地方豪強，謀劃廢黜靈帝立合肥侯的事件。
王芬等人曾希望曹操加入他們，但被曹操拒絕，後來王芬事敗自殺。接着，又有西北金城郡（今蘭州）的邊章、韓遂殺死刺史和太守，率兵十餘萬反叛朝廷。
中平五年（188年），漢靈帝爲鞏固統治，設置西園八校尉，曹操因其家世被任命爲八校尉中的典軍校尉。
中平六年（189年），漢靈帝駕崩，太子劉辯登基，何太後臨朝聽政。大将軍何進想趁靈帝駕崩、宦官失勢之機誅滅十常侍，但沒有取得何太後的支持。
于是何進便召時任并州牧的董卓進京，脅迫何太後同意。然而此舉打草驚蛇，董卓尚未抵達京城，何進已被宦官下手謀殺。
同年九月，董卓入京，執掌朝政，把漢少帝廢爲弘農王，而改立其弟陳留王爲漢獻帝，又派人把弘農王母子毒死，自稱太師，專擅朝政。
曹操見董卓倒行逆施，不願與其合作，遂改易姓名逃出京師洛陽（今洛陽東）。曹操到陳留後，“散家财，合義兵”，且首倡義兵号召天下英雄讨伐董卓。
初平元年（190年）正月，袁術等人共推渤海太守袁紹爲盟主，曹操任代理奮武将軍，參加讨董軍。
二月，被聯軍擊敗的董卓脅迫獻帝遷都長安（今陝西西安西北），自己則焚毀宮室，挖開王陵，劫掠人民，緻使洛陽方圓200裏荒蕪凋敝無複人煙。
而關東聯軍懼怕董卓精銳的涼州軍的戰力，無人敢向關西推進，全都屯兵酸棗（今延津北）一帶。而曹操認爲董卓“焚燒宮室，劫遷天子，海内震動”，應趁機與之決戰，遂獨自引軍西進。
曹操行至荥陽汴水（今荥陽西南），與董卓大将徐榮交鋒，因爲士兵數量懸殊，曹操大敗，士卒死傷大半，自己也被流矢所傷，幸得堂弟曹洪所救，幸免于難。
回至酸棗，曹操建議諸軍各據要地，再分兵西入武關（今陝西丹鳳東南），圍困董卓，關東諸将不肯從。關東諸軍名爲讨董卓，實際各自心懷鬼胎，意在伺機發展自己勢力。
不久，諸軍之間發生摩擦，相互火拼，聯合軍至此解散。
初平二年（191年），曹操在東郡大敗于毒、白繞、眭固、於扶羅等，袁紹表其爲東郡太守。
初平三年（192年），青州黃巾軍大獲發展，連破兖州（治昌邑，今山東巨野東南）郡縣，陣斬兖州刺史劉岱。
濟北相鮑信等人迎曹操出任兖州牧，曹操和鮑信合軍進攻黃巾，鮑信戰死。曹操“設奇伏，晝夜會戰”，終于将黃巾擊敗。
當年冬天，獲降卒三十餘萬，人口百餘萬。曹操收其精銳，組成軍隊，号青州兵。又助袁紹打敗劉備、單經及陶謙諸軍。
初平四年（193年）春天，曹操在匡亭六百裏大追擊大敗袁術、黑山軍、南匈奴。徐州牧陶謙率軍攻入兖州南部的任城，曹操率軍征讨陶謙攻克徐州十餘城。
初平四年（193年）秋天，曹操的父親曹嵩來曹操處路上，被陶謙派兵殺害，曹操遂進兵徐州（治郯，今山東郯城），向東南擴展勢力。
陶謙退守郯縣，不久曹操軍糧将盡，撤圍回軍。次年夏，曹操再征徐州，略地至東海。
曹操征徐州期間，所過大肆殺戮，一路上“雞犬亦盡，墟邑無複行人”。這時，東郡守備陳宮對曹操不滿，于是與陳留太守張邈、張邈之弟張超、從事中郎許汜及王楷等同謀叛亂，迎呂布爲兖州牧。
呂布爲當時名将，先爲董卓部将，後與王允定計誅殺董卓。一番征戰之後，當時隻有鄄城（今山東鄄城）和東郡的範（南範縣）、東阿（今山東陽谷）兩縣尚在曹操掌握之中，分别由司馬荀彧和壽張令程昱、東郡太守夏侯惇等堅守，形勢異常危急。
曹操從徐州趕回，聽說呂布屯于濮陽，遂進軍圍攻濮陽。二軍相持百餘日，蝗災大起，雙方停戰，曹操軍還鄄城。
此時，曹操失去了兖州（治今山東郓城西北），軍糧已盡，袁紹派人來勸說想讓曹操投靠他，讓曹操舉家遷到邺縣當人質。
曹操本打算答應袁紹，多虧程昱勸阻，曹操才打消這個念頭。興平二年（195年），曹操整軍再戰呂布，三敗之，破定陶（今山東定陶）、廪丘（今山東郓城西北）等，平定兖州。
呂布逃往徐州投靠劉備，七月，因李傕、郭汜的火拼，漢獻帝從長安東歸，下诏讓各路諸侯勤王。
建安元年（196年）八月，曹操迎漢獻帝。辛亥，漢獻帝封曹操爲司隸校尉，錄尚書事。庚申，遷都許昌。十一月丙戌，漢獻帝封曹操爲司空，行車騎将軍事，百官總己以聽。
建安二年（197年）正月，曹操讨伐張繡，軍隊駐紮在淯水，張繡舉衆投降，旋即複叛，長子曹昂、侄子曹安民、猛将典韋戰死。
此後，曹操又兩度攻擊張繡，都沒有徹底擊破。九月，曹操東征袁術，袁術棄軍而逃至淮河，枭袁術留守四将。
建安三年（198年）四月，曹操遣谒者裴茂率中郎将段煨讨李傕，夷三族。九月，曹操東征徐州，進攻久與他爲敵的呂布。
在曹軍攻勢之下，呂布軍上下離心，十二月，呂布部将魏續、宋憲等生擒陳宮歸降曹操，呂布見大勢已去，下城投降。
曹操将呂布、陳宮、高順等人處死，收降呂布部将張遼以及泰山豪傑臧霸、孫觀等人，初步控制了徐州。
建安四年（199年），曹操派史渙、曹仁擊破張楊舊部眭固，取得河内郡，把勢力範圍擴張到黃河以北。