孙传芳担心后路被截断，急忙率兵回撤济南，北伐军遂整顿兵马追击。张宗昌退守泰安准备死守，而孙传芳则退守肥城，以三个师配备于城外刀山谷、凤凰庄一带，构筑坚固工事和张宗昌部联系，其余两师则归马宝珩指挥，将主力驻守于万德、界首。到1928年5月1日，孙传芳自知济南已经陷于孤立，于是率部退向德州，6日，北伐军进占晏城镇，随后又进占禹城、恩县，于13日攻克德州，孙传芳又退守庆云、盐山。此时蒋介石、冯玉祥已经与阎锡山联手，张作霖遂决定据守北京、天津及方顺桥附近一带，并与津浦线的张宗昌部和孙传芳部连成一气，以孙传芳的主力部队驻守任丘、河间一带。
但是在经过济宁拉锯战之后，孙传芳部的官兵已经彻底失去了斗志，尤其是不断北撤，军心涣散。6月间北伐军第二集团军趁机占领河间、苏宁、高阳，孙传芳部纷纷向霸县、宝坻、固安、永清、胜芳一带退却。短短一个月的时间里，孙传芳的部队就由一支随时准备反攻的虎狼之师，变成了风声鹤唳、草木皆兵的败仗之军，以前至少是和北伐军交火之后再退，现在只要听到北伐军的枪炮声，也不管是不是北伐军来了，立马收拾枪械锅灶就跑。张作霖原本还想在直隶与北伐军决一胜负，结果驻扎在霸县的孙传芳部忽然撤退，张作霖见态势已经难以挽回，只好实行全线总退却。