军事委员会决定改变原来的作战计划，于4日电令第三战区“避免在衢州决战”。电文主要内容为：

(1)国军以保存实力、机动打击敌人之目的，决避免在衢州附近决战。

(2)第86军主力应依衢州既设阵地，持久抵抗，竭力打击、消耗敌人。

(3)衢州附近我主力各军应向衢州及其以西铁道两侧地区妥为分散配置，准备尔后侧击沿铁道两侧突击之敌。特须注意，我的企图、行动须绝对保密。

(4)第100军应竭力持久抵抗，打击消耗敌人。

(5)在敌后各军应积极游击。

(6)破坏铁道及疏散物资应即实施。

第三战区遵令部署如下：

(1)第10集团军

第86军应竭力利用既设阵地，消耗敌人，以一部死守衢州，主力待命由江山港、常山港间地区向峡口、保安街间转进，在该地及仙霞岭附近构筑阵地，并迅速整补。

第74军指挥暂13师应与敌保持接触，利用灵山镇、大洲镇、黄坛口以南山地，阻止、打击窜犯之敌，并对沿铁道两侧突进之敌作好侧击的准备。

该军第57师迅速占领江山城及其以东地区，重点保持在江山港以东，掩护第49军向后转进。

总部尔后在二十八都指挥。

(2)第32集团军

第26军应以一部与敌保持接触，主力迅速转移到芳村镇及常山城附近占领阵地，俟第25军主力到达芳村镇、常山城时，该军即逐步转移到玉山控置，以一部沿常山至玉山道路择要扼守。

第25军除留置第146师在上方镇、大同镇及寿昌一带地区积极活动外，应派出一部进出杜泽、外宅、石梁市各隘路口袭扰敌人，策应衢州守军作战。

该军长率第108师、第145师向芳村镇、常山城转移。如敌突进常山城，该军主力应利用常山到华埠间山地择要扼守，以一部掌握衢州以北山地，待机侧击突进之敌。

该总部俟第26军、第25军概就玉山、常山位置时，应移至上饶指挥。

(3)第49军(欠暂13师，并指挥第40师)即归第10集团军指挥，联系第74军，占领仰于坪、东山、前河街沿江山港西岸、常山港南岸到招贤镇之线，与常山港北岸我第26军切取联系，对敌由常(山)以东向江山以北之窜扰应特慎警戒。

由于3日夜降大雨，江水暴涨，至4日晨，衢江以南日军，除第15师团徒步部队已徒涉至乌溪江西岸外，其余部队全被阻于东岸。

4日晚，第22师团一部徒步部队亦进至西岸;河野旅团少数步兵曾在铁路桥(已炸毁)处以橡皮舟潜渡乌溪江，但在守军第67师阻击、反击下，已渡者全被歼灭。

衢江以北日军，第32师团于傍晚进至东镇(衢州西南9公里)附近，一部渡至常山港南岸，切断了衢州至常山的联络线;第116师团进至衢江北岸附近。

守军各军根据第三战区的命令，均在进行反击的准备。

第74军一部在向北推进途中与南下的日军第15师团主力遭遇，发生激战。由于接到“避免决战”的命令，第74军主动撤至黄坛口以南山地防守。

其第40师在日军第15师团一部攻击下，退至江山港北岸，改归第49军指挥;第105师与日军第32师团激战后，撤至常山港南岸招贤附近防守。

6月5日，日军第15师团在航空兵掩护下，集中兵力猛攻衢州南郊阵地，激战至午后，突破六马桥阵地，守军第67师退守衢州南关。

日军第22师团一个联队渡过乌溪江，于傍晚进至江山港南岸，其主力仍在陆续渡江中;日军第32师团当日攻占西镇，进至常山港以南地区。此时，衢州城已处于四面包围之中。

当日下午，泽田茂得到情报：后溪街附近有中国军队有力部队集结。为支援及保障第15师团攻破衢州，令第15师团攻占衢州城，令第32师团和第22师团分别向后溪街和江山方向进攻。

6月6日又下大雨，双方冒雨激战。日军河野旅团于拂晓后通过刚刚修好的临时铁路桥，进至乌溪江以西，立即向衢州城西及城北门逼进。

第15师团主力从铁路附近猛攻南门及南城墙，其一部兵力与河野旅团一部于8时许攻占衢州飞机场及航空学校。

第三战区根据当时敌情及军事委员会指示精神，对6月4日下达的“避免在衢州决战”的命令又下达了部队转移的补充指示：

(1)第10集团军：

第74军并指挥暂13师、第40师，主力迅速转移到江山附近占领阵地、打击敌人，掩护第49军、第26军向后转移。

第49军应由原阵地转移到峡口到八都之线占领阵地，并留置一部于石门市要点。

第86军突围后开二十八都集结待命。

(2)第32集团军：

第26军以1个师守常山，主力应迅速转移到玉山附近占领阵地，与八都方面第49军切取联系;其在常之1个师，俟第25军到达交防后迅速转移到上饶控置。

第25军除留第146师在寿昌续行前任务外，主力迅速转移到常山附近，接替第26军的守备任务。

衢州城外各军接到战区指示后交互掩护，逐渐脱离接触，向指定的位置转移。

城内守军因通信器材已全被日军的飞机、大炮所击毁，与战区及集团军均失去联系，仍依托城防工事继续苦战。

血战至晚，日军第15师团攻占南门及新开门，河野旅团攻占东北门、北门及西北角城墙。

此时，船民齐大年从信安江(一名信安溪、西溪)游水进入城中，带来王敬久关于守军向枫林港突围的指示。

副军长、第67师师长陈颐鼎与第16师师长曹振铎商议后，以第64团第2营担任掩护，丢弃了重伤员及一切重武器、骡马车辆等，利用夜暗天雨突围西撤。

在第64团第2营官兵英勇顽强的抗击下，已经占领了城门及城墙的日军始终未能进入城内，亦未能阻止住突围的部队。激战至7日拂晓，第64团团长谢士炎率领第2营残部100余人从东门突围(第2营营长宋汉武已牺牲)，绕道向清明镇转进。衢州为日军占领。