在中国共产党领导的抗日游击战争中，120师的前身是由红二、红六军团组建的中国工农红军第二方面军。

作为一支重要的机动部队，抗战时期，乃至解放战争初期，120师始终承担着保卫党中央，稳定晋西北战略枢纽，支援晋察冀，打击日本侵略者的任务。

抗战初始，120师全称是：国民革命军第八路军（稍后改为第十八集团军）第120师。

1937年8月25日，中央军委决定中国工农红军第二方面军、陕北红27、28军、独立第一、第二两师、赤水警卫营和总部特务团、骑兵团各一部，在陕西省富平县庄里镇集中改编为国民革命军第八路军第120师。

抗战开始后，120师东进山西、绥远等地，创建了晋绥抗日根据地。

晋绥抗日根据地东起同蒲铁路大同至太原段，南至汾(阳)离(石)公路，北至大青山脉，西至黄河，南北纵长400多公里，东西横宽350多公里。

晋绥抗日根据地山瘠民贫人烟稀少，是抗战初期华北四大根据地（晋绥、晋察冀、晋冀鲁豫、陕甘宁）中条件最艰苦的地区。

晋绥抗日根据地西与陕甘宁边区隔黄河相望，是保卫陕甘宁边区的屏障，也是陕甘宁边区和其他抗日根据地联系的唯一通道，战略地位十分重要。

遵照八路军总部的命令，120师师部率358旅于1937年9月下旬挺进到以管涔山脉为依托的晋西北地区，359旅挺进到五台、平山地区开展抗日游击战争。

9月底，120师组成雁北支队，深入雁门关以北同蒲铁路以西的日军占领区，袭击了井坪、平鲁，逼近大同。

在配合国民党军同蒲铁路北段的作战，尤其是忻口战役中，120师先后取得了雁门关、王董堡等战斗的胜利，使进犯忻口的日军地面补给一度中断，有力配合了国民党军队的正面作战。

1937年11月8日太原失守，华北正规战争阶段基本结束，以八路军为主体的游击战争阶段开始，120师奉命在晋西北创建抗日根据地，至1938年1月根据地基本形成。

2月下旬，日军黑田旅团等部及伪军共1万余人对晋西北抗日根据地进行大举围攻，120师主力在游击队和人民群众的配合及晋绥骑兵军的应援下，经近40天的作战，不仅粉碎了敌军围攻，还收复了被日军侵占的宁武、神池、五寨、苛岚、保德、河曲、偏关七座县城，歼灭日伪军1500余人，巩固和发展了晋西北抗日根据地。

1938年5月14日，毛主席指示120师在平绥路以北沿大青山脉建立游击根据地。

8月，120师大青山支队进军塞外，开辟以大青山为依托的抗日根据地。

12月，形成了绥西、绥南、绥中三块游击根据地，并逐步同晋西北根据地连成一片，构成晋绥抗日根据地。

根据中央军委指示，1938年12月22日，120师主力出兵冀中，晋西北留下的部队组成新358旅（彭8旅），坚持晋西北的抗日斗争。

715团由绥远挺进冀中，其余部队继续在大青山地区坚持抗日游击战争。

1940年1月5日，毛主席电令贺龙、关向应即赴晋西北指挥。并指出：晋西北关系全局，吕梁已失，靠夺取晋西北作战略枢纽。

2月初，120师主力奉命赶回晋西北地区，配合新军胜利地打退了旧军的进攻。

5月起，日军2.5万余人开始对晋西北根据地进行夏季大扫荡，120师灵活应战，取得了米峪镇等战斗的胜利。

8月起120师部队派出20个团（含新军）参加了百团大战。

1945年8月，晋绥军区部队向日伪军展开大反攻。第358旅和独立第1旅由陕甘宁边区东渡黄河，参加反攻作战。

晋绥区部队经过连续奋战，收复了离石、中阳、文水、交城、陶林、武川、左云、右玉、朔县、平鲁等城镇。

八年抗战，晋绥抗日根据地巍然屹立在黄河以东，在陕甘宁边区的门户上给敌人竖起一道难以逾越的屏障，使日军始终未能越过黄河进犯陕甘宁边区，保卫了延安和党中央，并确保了党中央与敌后各根据地联系的交通线。

与此同时，120师还配合、支援晋察冀抗日根据地的斗争。

晋察冀抗日根据地地处晋绥根据地东南，位于恒山、五台山、燕山山脉的连接地带，是威胁平、津等大城市和坚持华北抗战的重要战略支点。

晋察冀抗日根据地由聂荣臻率115师一部3000余人于1937年10月创建。

为配合晋察冀边区创建恒山抗日根据地，1938年5月下旬，八路军总部电令359旅主力挺进恒山地区，开展桑干河两岸的游击战争。

9～11月间，日军5万余人对晋察冀边区进行空前规模的大围攻，120师奉命与晋察冀军区配合作战，粉碎日军围攻。

其间，我359旅718团在广灵、灵丘一线顽强阻击日军，717团在明铺全歼了日军一个运输大队400余人。

王震率359旅718团和719团进行了邵家庄伏击战，张宗逊率358旅716团和714团在高洪口到五台的滑石片，全歼日军蚊野大队700余人。

在120师部队的有力配合下，晋察冀边区彻底粉碎了日军的围攻计划。

为创立新的抗日的根据地，1938年年底，八路军总部决定由肖克率领120师一部分干部去冀热察，以第4纵队（宋时轮邓华纵队）为基础，成立冀热察挺进军，归晋察冀军区指挥。

冀中抗日根据地是晋察冀抗日根据地的重要组成部分。

1938年5月3日，冀中军区和八路军第三纵队成立。

11月和12月，日军对冀中区进行了两次围攻，造成了较大损失。

1938年12月，八路军总部命令120师主力挺进冀中地区，执行巩固冀中、帮助冀中八路军3纵队提高战斗力和扩大自己的任务。

1939年1～3月间，日伪军对冀中区进行第三、第四、第五次围攻时，120师715、716团先后取得曹家庄、大曹村、邢家庄、黑马张庄战斗的胜利。

四战四捷，120师打出了军威，“亚五”（715团）“亚六”（716团）在冀中平原声名大振。

4月下旬，在河间县东北，贺龙师长亲自指挥齐会战斗，全歼日军吉田大队700余人，取得了平原歼灭战的重大胜利。

战斗中日军施放毒气，贺龙师长负伤，中共中央发来慰问电，蒋介石亦通电表彰120师，并为贺龙师长颁发了慰问金。

到1940年底，晋察冀根据地发展壮大为晋察冀、冀中、冀热察三个战略区，成为拥有1500余万人口的华北最大的抗日根据地。