一、小隊：
步兵小隊轄一個機槍組（二挺輕機槍）、一個擲彈筒組（二個擲彈筒）和二個步槍組。每挺輕機槍編制四人（指揮官、射手、兩名攜彈藥的副射手），每具擲彈筒編制兩人。小隊人數在50到70之間。到1945年，步兵小隊僅有一挺輕機槍與一個擲彈筒。
步兵炮小隊，兩門70mm步兵炮。
二、中隊：
步兵中隊轄三個步兵小隊，人數在194到250人之間。
日軍的一個标準的步兵中隊（181人）包括：一個19人的中隊部：中隊長，執行官，3個軍士，4個衛生員，軍官的勤務兵，司号員，8個通信員），3個前述54人的小隊。
三、大隊：
日軍一個标準的1100人編制的大隊包括：30人的大隊部，一個110人的運輸中隊（大車和騾馬），有的大隊将所屬的運輸中隊合并到聯隊裏。四個前述的步兵中隊（一些隻有3個）；一個174人的機槍中隊（14人的中隊部和3個機槍小隊，1個彈藥小隊），每排4挺重機槍，總數12挺（有的連隻有8挺）；一個55人的炮小隊（1個10人的小隊部，1個15人的彈藥班，兩個15人的炮班各裝備1門70mm九二式步兵炮），極少的部隊配備一個122人的炮中隊（包括一個27人的彈藥小隊，兩個31人的炮小隊各裝備2門步兵炮）。在這些少量的炮中隊中，極幸運的一些可以分到20mm反坦克槍的部隊，可以編成4個24人的裝備2挺反坦克槍的小隊，這種情況下，彈藥小隊要擴充爲39人。
四、聯隊：
日軍的一個标準的3800人的聯隊包括一個54人的指揮部；一個121人的運輸隊（大車和騾馬），攜帶聯隊部和直屬各中隊一日份的給養以及可能配屬師的野戰廚房；一個81人的彈藥排攜帶一日份的彈藥。
三個步兵大隊：
一個122人的炮兵中隊，包括一個25人的中隊部，一個觀察班，一個31人的彈藥小隊，三個31人的炮小隊（各有2個15人的炮班，裝備1門70mm九二步兵炮）。極少數聯隊有一個364人的炮兵大隊，編兩個170人的中隊，各4門炮。
聯隊屬反坦克中隊有122人：20人的中隊部，21人的彈藥小隊，3個33人的炮小隊（各有兩門37mm反坦克炮）。
通信中隊有一個電話小隊（4到6個電話班，每班3部電話，一個交換機），一個無線電小隊（5到8台電台），在戰鬥中電話和電台配屬到各大隊和各直屬隊。
聯隊的衛生系統配備很薄弱，聯隊隻有2名醫生和2名衛生員，大隊有3名醫生和四個衛生員，中隊有四個衛生員。
五、師團：
日軍的師屬單位主要有：3個步兵聯隊，一個野戰炮兵聯隊，一個偵察聯隊，一個工兵聯隊，一個運輸聯隊，通訊隊。
野戰炮兵聯隊編制2322人，有3個688人的炮兵大隊，各裝備12門75mm野炮或山炮，隻有一些師團将其中一個大隊替換成105mm炮。
偵察聯隊編制730人，包括一個130人的聯隊部，一個130人的騎兵中隊（4個30人的排），兩個160人的摩托化中隊，1個100人的卡車運輸中隊（至少在紙面上可以運輸那兩個摩托化中隊）。這個偵察聯隊也可以被一個950人的騎兵聯隊代替。
工兵聯隊編制900-1000人，幾乎沒有機械裝備，隻能承擔極少的任務，更專業的任務主要由配屬的獨立工兵聯隊負責。
運輸聯隊的規模大體上取決于可用的卡車數量，從理論上來說，由一個卡車大隊和一個騾馬大車大隊組成。卡車大隊由2到3個中隊組成，每中隊最多有50輛載重1.5噸的卡車，許多師團都缺少卡車，一些根本就沒有。
綜合日軍一個師團，有54門75mm的野炮或山炮，少數師團用12門105mm炮替換了75mm炮，卡車方面日軍最多有100-150輛卡車。
抗戰中期，随着正面和敵後兩個戰場的展開，日軍爲适應不同戰鬥規模的需要，把師團分爲甲、乙、丙、丁四種等級，同時在做戰時日軍給各師團配屬特種兵及補充人員等，可使一個師團指揮的人馬達四萬人以上。
四單位制師團：又稱挽/馱馬師團，甲種師團。轄2旅團（每旅團2個步兵聯隊），工、騎、炮（48門炮）、辎各一聯隊，共8個聯隊。一般齊裝滿員的日軍常備主力陸軍師團兵力往往可達24000－28000人，擁有戰馬7630匹、步騎槍14900枝、擲彈筒144個、輕機槍288挺、重機槍54挺、山炮16門、野炮36門等武器裝備。是具有多兵種配合的有強大戰鬥力的作戰單位，故這種師團又被稱爲甲種師團。日本陸軍第一至第二十師團、近衛師團、近衛第二、近位第三師團、戰車第一、第二、第三師團和一度由常備主力師團的預備役部隊編成的8個師團，均屬于甲種師團的編制。
（1）四單位挽馬師團人員，裝備情況：
師團司令部：人員330，馬：165，各種槍95，非機動車63。
旅團司令部：人員75，馬20，各種槍36，非機動車4。
步兵聯隊：人員3747，馬526，各種槍2590，各種炮14，擲彈筒76，非機動車256。
步兵大隊：人員1091，馬118。
步兵中隊：人員194，各種槍174，擲彈筒6。
野炮兵聯隊：人員2894，馬2269，各種炮48，各種槍541。
野炮兵大隊：人員634，馬499，野炮12。
野炮兵中隊：人員128，馬184，野炮4。
騎兵聯隊：人員452，馬429，各種槍320。
騎兵中隊：人員144，馬134。
工兵聯隊：人員672，馬99。
工兵中隊：人員286，馬19。
師團通信隊：人員255，馬47。
辎重兵聯隊：人員3461，馬2612。
辎重兵中隊：人員562，馬376。
師團衛生隊：人員1101，馬128。
兵器勤務隊：人員121。
野戰醫院：人員240。
總計：每師團約25000人，每旅團約7800人。
（2）常設四單位制馱馬師團人員裝備情況：
師團司令部：人員391，馬239。
旅團司令部：人員80，馬25。
步兵聯隊：人員3818，馬約720。
步兵大隊：人員1150，馬180。
步兵中隊：人員194。
騎兵聯隊：人員508，馬約321。
炮兵聯隊：人員3699，馬3600，炮48。
山炮兵大隊：人員999，馬720，炮12。
山炮兵中隊：人員195，馬138，炮4。
工兵聯隊：人員719，馬150。
工兵中隊：人員約300。
辎重兵聯隊：人員4890，馬4260，辎重馱馬具3882。
辎重兵中隊：人員684，馬598。
師團通信隊：人員289，馬84。
師團衛生隊：人員1328，馬163。
兵器勤務隊：人員121。
野戰醫院：人員300左右
總計：每師團28500人，每旅團約7900人。
（3）臨時編成三單位制挽馬師團人員裝備情況：
師團下轄一個步兵團，步兵團下轄三個步兵聯隊，師團還有師團搜索隊，野炮兵聯隊，工兵聯隊，辎重兵聯隊，通信隊，衛生隊，兵器勤務隊，病馬廠一個，野戰醫院2個。
師團司令部：人員91，馬22，馬車8。
步兵團司令部：人員7，馬3。
步兵聯隊：人員2909，馬179。
師團搜索隊：人員319，馬185。
野炮兵聯隊：人員1745，馬1259。
工兵聯隊：人員402，馬15，車2。
師團通信隊：人員178，馬30。
辎重兵聯隊：人員370，馬113，馬車50。
師團衛生隊：人員376，馬47。
野戰醫院：人員239，馬87。
病馬廠：人員48，馬11。
兵器勤務隊：人員132。
總計全師團約12800人，步兵團約8700人。
（4）丙種師團情況：丙種師團下編兩個步兵旅團，每旅團下編四個獨立步兵大隊，以及工兵隊，通信隊，辎重隊，野戰醫院，病馬廠。人員：丙種師團的編制人員在不同時期變動極大，一般情況下，步兵旅團約爲5100人，獨立步兵大隊爲1270人，總計全師團約爲11980人。
37制标準師團：
轄2個旅團，每個旅團轄2個聯隊，每個聯隊裝備41式山炮4門，37炮4門，92步炮6門，重機槍24挺。1個炮兵聯隊，48門炮，其中36門38式75毫米山炮，12門100毫米炮。共計25375人。
37制特設師團：
轄2個旅團，每個旅團轄2個聯隊，每個聯隊裝備41式山炮3門，92步炮6門，重機槍8挺。1個野炮聯隊，36門38式75毫米野炮。計21902人。
三單位制師團，又稱乙丙丁種師團。轄步兵團，步兵團下轄三個步兵聯隊，聯隊下轄三個步兵大隊與一個步兵炮中隊（四門步兵炮）。步兵大隊無炮兵小隊，炮兵聯隊爲24－36門山炮或野炮，騎兵聯隊改爲搜索聯隊，其他如辎重、工兵等後勤部隊也大爲減少，編制人數爲13000－18000人。
到了武漢戰役結束之後、由于戰場的擴大與戰争消耗，日軍越來越多将三單位制師團與獨立混成旅團投入了第一線。因此、日軍進行了編制上的調整，将三單位制師團的後勤部隊予以補充，使總人數達到了1.5－1.7萬人。獨立混成旅團的步兵大隊改爲轄四個步兵中隊與一個機槍中隊，總人數達6000-7000人。該編制僅限于一線部隊，守備部隊仍爲原編制。另外又開始将四單位制師團改爲三單位制。
1938年後，由于日本帝國主義在侵華戰争中兵力消耗極大，其後組建的第二十一師團至第四十九師團均取消了旅團級建制，由師團直轄三個步兵聯隊，每個聯隊下轄三個步兵大隊，同時指揮炮、工、騎、辎重兵聯隊等單位，全師團定員減至1.8萬人，配備軍馬2065匹，步騎槍8940枝、擲彈筒216個、輕機槍216挺、重機槍54挺、平射炮18門、山炮12門等武器裝備，這種類型的日軍師團被稱爲乙種師團。
1941年太平洋戰争爆發後，日軍戰線再度拉長，兵員更加缺乏，于是又開始緝建丙種師團。這種被稱爲丙種師團的部隊又恢複了旅團建制，但取消了旅團下面的聯隊，即每個師團下轄兩個旅團，每個旅團直轄四個步兵大隊，全師團共八個步兵大隊，加上師團直屬的炮兵大隊、工兵大隊、辎重兵大隊、通訊大隊等單位，全師團定員1．3萬人。配備軍馬2550匹，步騎槍6500枝、擲彈筒192個、輕機槍192挺、重機槍48挺、平射炮16門，迫擊炮32門、野炮12門等武器裝備，日軍第五十師團至第一o九師團均屬于這種編制的部隊。
至1944年秋，盟軍反攻迫近日本本土，日本爲準備“本土決戰”，又開始組建丁種師團。丁種師團的建制定員與丙種師團大緻相同，隻是特種兵和自動火器、重火器很少，番号在第一一o師團以後的各師團都是屬于這種編制的師團。
37制3單位師團，轄3個聯隊，每個聯隊裝備炮12門。1個炮兵聯隊（12門炮，其中8門38式75毫米野炮，4門100毫米榴彈炮），計12689人。
41制師團，轄3個聯隊，每個聯隊裝備92步炮6門，重機槍24挺，輕機槍108挺，自動槍6。1個步兵擲彈炮聯隊，8門炮，其中山炮4門，37炮4門。1個戰車隊，坦克/裝甲車15輛。1個炮兵聯隊，32門炮，其中24門90毫米炮，8門150榴彈炮。計12605人。
41制治安師團，轄3個聯隊，每個聯隊裝備41式山炮3門，37炮4門，重機槍24挺，輕機槍72挺，裝甲車5輛。1個野炮聯隊，36門炮，其中24門38式75毫米野炮，12門100毫米炮。計13500人。
41制留守師團，轄3個聯隊，每個聯隊裝備41式山炮4門，37炮4門，92步炮6門。1個野炮聯隊，12門炮，其中8門38式75毫米野炮，4門100毫米炮。1個速射炮隊，12門47毫米炮。計14342人。
戰車師團
日本陸軍在第二次世界大戰時期也有一支規模不小的坦克部隊。日本軍方自1925年開始研制坦克，1929年組建坦克部隊。但初期多以坦克聯隊爲建制配屬于陸軍師團，至1936年後才在中國東北公主嶺組建日軍第一坦克旅團。1942年6月，日軍在中國東北的甯安、勃利和綏遠的包頭又組建了第一、第二、第三戰車師團，1944年在其國内組建了第四戰車師團。日軍戰車師團一般裝備輕型坦克100輛、中型坦克335輛、各種汽車1272輛、加農炮36門、高射炮12門、野炮4門、速射炮12門、平射炮6門、重機槍18挺、輕機槍144挺、步騎槍2900枝等。在日軍準備“本土決戰”時期，他們還陸續組建了第一、第二、第三、第六、第八、第九共7個獨立戰車旅團。但由于日軍的坦克裝甲車在火力、速度、裝甲防護力等方面均與歐美先進工業國有一定差距，故在二戰中對蘇、對美的曆次戰役中均顯得不堪一擊。
其他：
日本陸軍軍銜共計6等16級，即大将、中将、少将、大佐、中佐、少佐、大尉、中尉、少尉、準尉、曹長（上士）、軍曹（中士）、伍長（下士）、上等兵、一等兵、二等兵。日本陸軍也有元帥軍銜，但規定由日本天皇從戰功顯赫或資深的大将中選任，頒賜元帥封号，自明治維新後至1945年日本帝國主義投降，共有17位陸軍大将被天皇頒賜元帥軍銜。日本軍銜與有些國家不同的是，大尉、大佐、大将的領、肩章上都隻有3顆而不是4顆星。在日本陸軍中，軍司令官常是中将或大将軍銜，師團長多是中将軍銜，旅團長多是少将軍銜（也有個别是中将軍銜的），聯隊長多是中佐或大佐軍銜，大隊長多爲少佐、大尉軍銜，中隊長多爲中尉軍銜，小隊長多爲少尉軍銜。
對于步兵來說，中隊長以下的軍官是徒步行軍的，而中隊長以上的大隊長、聯隊長等都是乘馬的。
在步兵聯隊中，軍馬主要擔任兵器運輸與彈藥、補給搬運的工作。以九二式重機槍小隊爲例，九二式重機槍重55公斤，因此每小隊編制有馱馬五匹（其中一匹爲預備馬），除了背負機槍外，負責馱運彈藥時标準是每匹馬需要馱負四個540發彈藥箱，但是戰時考慮長期行軍的影響，實際上每匹馬以馱運兩箱爲原則。
在炮兵聯隊中，以野炮而言若不計入火炮本身的挽馬，單單每炮的附屬車輛——彈藥車、觀測車、預備品車——就需要三匹挽馬。而就山炮而言，山炮分解後是由六匹馬以馱運方式運動，另外彈藥馱運馬每匹則馱運12發炮彈。