李宗仁和白崇禧认为，眼下形势有利于日军利用机械化部队和飞机优势集中进攻，我军的装备和兵力只可利用地形打阵地战、歼灭战，不宜进行徐州保卫战。

若盲目与敌人拼消耗，将重蹈淞沪、南京战役覆辙。

这时第九军团高霆也给蒋介石提出了自己对战局的看法，竟与李、白二人不谋而合。

李、白将意见报告给蒋介石，蒋也收到情报部关于日军向徐州增兵40万的报告。

5月15日，国民政府军事委员会经武汉最高军事会议决定弃守徐州。

16日，第五战区下令各部队分别向豫、皖边界山区突围。

17日，蒋介石命令一战区所属部队完成接应突围部队的任务。

18日午夜，李宗仁率战区司令部放弃徐州，经宿县向西南方向撤退。

19日上午，第68军掩护各部撤退之后放弃徐州。

于是，狭义的徐州会战在布局阶段的中后期就结束了。

就在中方部队开始突围之际，日军土肥原所部第14师团约2万人为切断中方退路和阻止一战区援军增援强渡了黄河。

此举虽然对中方形成威胁，但由于其他日军尚未合围，而陇海线附近中方有6个军12万人，土肥师团反成孤军深入之势。

程潜（一战区代总司令）认为“就是吃也能把土肥原吃掉“。蒋介石匆匆飞往郑州，到程潜负责的第一战区指挥部，决定亲自指挥豫东战役，歼灭土肥师团。

5月23日，土肥师团开始向兰封突围，第七十一军88师师长龙慕韩擅自抗命，弃守兰封。

程潜迅速调整部署，再次围困土肥原。

正当程潜乐观预计，再有两三天时间就可望全歼土肥师团之际，黄杰第8军无视薛岳命令弃守商丘。

结果，由于蒋介石两个嫡系将领的贪生怕死、临阵脱逃，中方有计划地投入的15万精锐部队，却未能歼灭土肥师团的2万人马。

并且，更糟糕的是，蒋介石和程潜刚放弃围歼，土肥师团立即反扑，重新占领了兰封。

29日商丘沦陷后，开封、郑州甚至武汉都岌岌可危。连蒋介石自己也不得不在5月28日给程潜的密件中说：兰封战役是“在战史上亦为一千古笑柄“。

有人问，蒋委员长为什么不启用高霆的第九军团耶？如果启用第九军团，恐怕土肥原的日子不好过。

事实上，高霆的第九军团正是接应徐州撤退的第一战区部队，他的一个军（第9军）成功地将徐州突围出来的国军部队接应了出来。

但却没有接到围歼土肥原的指令，因而坐失良机！

为了阻止土肥师团，缓解兵败如山倒的势头，蒋介石于5月31日夜晚做出一个重大决策：掘开黄河大堤，“以水为兵“，阻止日军。

很多人都不知道，这条发生在三国时期的“水淹七军”之计会在现代重演。

实际上，这个方案由来已久。

早在1935年，受聘于南京政府的德国军事顾问团总顾问法肯豪森，就向蒋介石提出了利用江河阻敌的建议。

保存在中国第二历史档案馆的这份建议书中文译稿上，有蒋介石对于“最后的战线为黄河，宜做有计划之人工泛滥，以增厚其防御力“一段的眉批:“最后抵抗线“。

1936年7月，法肯豪森第二次提出了决黄河以阻敌的建议。

1938年4月13日，徐州会战突围之际，陈果夫也曾写信给蒋介石，主张在河南武陟县的沁河口附近决黄河北堤，“以水反攻制敌“。

1938年5月26日，豫东战役溃败之际，时任湖北省主席的何成浚致电蒋介石：“现黄河已届桃汛，倘施工决口，则黄河水即循故道直奔徐州，不特大地泛滥使敌机械化部队失其效能，抑且足以摧毁其战斗力，使其打通津浦之企图仍归泡影，幸及早图之。“

5月31日，蒋介石与水利专家协商之后，正式决定掘堤。

6月1日，蒋介石在武汉召开最高军事会议，正式宣布在豫东战略撤退，同时令第一战区司令长官程潜，下令商震第20集团军负责开掘黄河大堤，阻止日军前进。

商震则命所部第39军军长刘和鼎具体负责。

3日，土肥师团已迫近开封，蒋介石怕开封失陷，再掘黄河就来不及了，就急忙打电话催促程潜“要打破一切顾虑，坚决去干，克竟全功“。

4日清晨，商震部第53军第1团奉命在中牟县境内大堤较薄的赵口掘堤。

但是，接连两处决口和坑道作业均失败。

又改在赵口以东30米处重新掘口，仍告失败。

6月5日，日军已经攻至开封。包括蒋介石在内，从上到下都焦急万分。