吴佩孚所部撤防是从一九二零年五月二十日开始。
他事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长吴新田为“主持湘南防务司令官”，于二十一日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。
直到吴佩孚所部撤防的前夕，北京政.府才有电报批准直军撤防。这样也就使吴部的北归，有了合法性。
吴佩孚所部开拔时作环状队形的布置，主力居中，湘江两岸各设掩护队，前方设有侦察兵，后面设有殿卒。大军扬帆而下，全军齐唱吴所亲撰的。
途中吴秀才诗兴大发，写下，诗曰：
行行重行行，曰归复曰归。
江南草木长，众鸟亦飞飞。
忆昔赴戎机，长途雨雪霏。
整旅来湘浦，万里振天威。
孰意辇毂下，妖孽乱京畿。
虺蛇思吞象，投鞭欲断淝。
我今定归期，天下一戎衣。
舳舻连千里，旌旗蔽四围。
春满潇湘路，杨柳正依依。
和风送归鸟，绿草映晴晖。
少年惜春华，胜日斗芳菲。
来路作归程，风景仍依稀。
周公徂东山，忧搀亦畏讥。
军中名将老，江上昔人非。
建树须及时，动静宜见几。
何日摧狂虏，发扬见国威。
不问个人瘦，惟期天下肥。
丈夫贵兼济，功德乃巍巍。
江上送归舟，风急不停挥。
得遂击楫志，青史有光辉。
春日雁北向，万里动芳徽。
鸿渐磐石愿，衍衍不啼饥。
止戈以为武，烽烟思郊圻。
同仇复同仇，归愿莫相违。
吴佩孚所部于二十七日由水路经过长沙。
张敬尧怕吴部舍舟登陆“战长沙”，在湘江右翼配置了强大的兵力，但只作防御准备。
而吴部根本无意上岸，虽亦作紧急戒备，不过是怕张军袭击而已。
双方都很克制，均未挑衅生事，吴部随后扬帆而去。
吴佩孚所部于五月二十九日过岳州，三十一日在汉口集中。
吴部北行，一举一动都引来各方关注，其滞留汉口，久而不发，因之而谣言四起。
北京政.府以吴佩孚所部按兵武汉。引起各方猜忌为名，促其尽快离开。并电曹锟，请他下令督促吴部速行。
吴佩孚本打算在武汉稍事休整，但迫于情势不得不迅速开拔。派其参谋长赴汴与赵倜密商后，商定吴部暂驻信阳、许州、郑州等处。
随后于六月七日晚由武汉起程。八日抵郑。