吴佩孚此时仍然能够调动的部队，只有在陕西的吴新田、在南阳的于学忠和驻守邓县的陈文钊。其他，如王为蔚、王维城等部已经投降靳云鹗，而寇英杰则远在开封。吴佩孚遂决定离开郑州，向东奔巩县而去。临行之前，吴佩孚下令自兼豫西防守总司令，并命令马吉第部守牧马集一带，刘希坚部守中平至黑石关一带，张席珍部守黑石关至洛阳一带，随后便挥泪离开郑州。在离开郑州之际，吴佩孚所做的安排主要是将京汉线让出来，当初奉军入豫，就是要借用京汉线南下，所以他出逃之际满足奉军的要求，亦是希望奉军不要赶尽杀绝。吴佩孚逃走之后，靳云鹗与奉军依然在连番激战，靳云鹗麾下第一猛将高汝桐阵亡，其所部陷入苦战，渐渐不支。
这一年的3月注定是动荡不安的，就在此时，北伐军围攻溧阳，16日，白崇禧提前命令所部各纵队向淞沪地区发动进攻。此时孙传芳手底下的江西、福建两省已经尽失，而安徽、浙江也已经名存实亡，所以他竭尽全力想要保住大本营江苏，多次发出急电敦促张宗昌部尽快南下。北伐军方面则希望尽快消灭孙传芳残部，以免奉系张宗昌部南下之后又陷入苦战，随即决定提前发动强攻。面对北伐军的猛攻，孙传芳部以松江为上海的西南屏障尽力抵抗，以铁甲车及所有炮火集中向北伐军的正面进行轰击。白崇禧乃以铁路货车车厢充作炮垒，并以中山号列车搭载将士增援，同时以总预备队为左翼，第二十六军为右翼，分三面进攻孙传芳部守军。