孙传芳担心后路被截断,急忙率兵回撤济南,北伐军遂整顿兵马追击。张宗昌退守泰安准备死守,而孙传芳则退守肥城,以三个师配备于城外刀山谷、凤凰庄一带,构筑坚固工事和张宗昌部联系,其余两师则归马宝珩指挥,将主力驻守于万德、界首。到1928年5月1日,孙传芳自知济南已经陷于孤立,于是率部退向德州,6日,北伐军进占晏城镇,随后又进占禹城、恩县,于13日攻克德州,孙传芳又退守庆云、盐山。此时蒋介石、冯玉祥已经与阎锡山联手,张作霖遂决定据守北京、天津及方顺桥附近一带,并与津浦线的张宗昌部和孙传芳部连成一气,以孙传芳的主力部队驻守任丘、河间一带。
但是在经过济宁拉锯战之后,孙传芳部的官兵已经彻底失去了斗志,尤其是不断北撤,军心涣散。6月间北伐军第二集团军趁机占领河间、苏宁、高阳,孙传芳部纷纷向霸县、宝坻、固安、永清、胜芳一带退却。短短一个月的时间里,孙传芳的部队就由一支随时准备反攻的虎狼之师,变成了风声鹤唳、草木皆兵的败仗之军,以前至少是和北伐军交火之后再退,现在只要听到北伐军的枪炮声,也不管是不是北伐军来了,立马收拾枪械锅灶就跑。张作霖原本还想在直隶与北伐军决一胜负,结果驻扎在霸县的孙传芳部忽然撤退,张作霖见态势已经难以挽回,只好实行全线总退却。