严颜留下一千人在险要之地埋伏，为了更好接应且战且退的高长恭。自己则是亲率还剩下的五千五百人马，一路向西，快速向永安撤去。
途经前几日攻下的秭归之时，严颜也没有丝毫停滞，只是派人前往城中，告知城中五百守卒，要关紧大门，严守秭归。他率领的队伍不敢入城中耽搁，在秭归城边穿过。
就这样，连续奔驰两个时辰后，终于离南郡边境只剩下不到五十里的路程了。可就在这时，意外发生了。前方有几位盔甲破烂，还带着血污的蜀军向着严颜奔来，见到领头的严颜后，立刻跪下道：“报将军，巫港被楚军突袭，我们抵挡不住，巫港已经丢失了！”
“什么？你说什么？楚军来了？”严颜听后，急的翻身下马，来到他们身边，扶着肩膀问道。“将军，千真万确，楚国乌泱泱的大军足足有上万人，我们真的抵挡不住。而且楚国好像直奔南郡而来……”
严颜这时候已经懵了，说不出话来了。过了好一会儿，他才恍然大悟道：“我们中计了！原来楚国之前在江面设置一里一亭哨，并不是只是为了自保，而是在迷惑我们啊！趁着我们大军入南郡时，直接背后突袭！”
之前严颜军中的斥候也来报道过消息，说楚国在江面每隔一里都驻扎着数艘十几个水军，昼夜巡逻。当时严颜还只是在笑话：“这刘琮真是一个乳臭未干的小毛孩，蔡瑁也只是徒有虚名罢了。竟然如此害怕，哪有这样设防的，劳军劳民的……”
现在的严颜回想起自己之前嘲笑楚国的话语，老脸已经泛红，真没想到一直被嘲笑的人如今也会反将一军。这可真是搬起石头，砸了自己的脚，丢人丢大发了！
严颜从回忆中挣脱出来，开始想眼下的对策，开口问道：“楚军将领是谁？可是蔡瑁？”小卒回答：“小的但看将旗并不是‘蔡’，而是‘常’字，小的实在不知道领头将军是谁。”
“常？”严颜听后开始绞尽脑汁思索楚国的那些将军，也包括之前在荆州刘表麾下的将领。可就算他把脑袋都想破，也实在不知道这个‘常’将军到底是谁！
于是乎，严颜心中萌生一个想法：刘琮是背叛刘表建立的楚国，名不正且言不顺，而刘表在荆州的那些部将肯定没人会跟随他。这个姓常的也估摸着是在哪里随便挖掘出来的将军，应该没什么本事。
想到这里，严颜已经打定了主意：“全军原地休息一个时辰，一个时辰后，随我杀将过去，一举突破楚军的包围圈！让这些无名鼠辈知道，想要拦截我们，是需要付出代价的！”
在后来，张富和麾下谋士复盘这场战役时，也提出了一个疑问：若是严颜率军退守秭归，凭借城池坚守，支撑到张富和岳飞的来援，是不是结局可能会改写？
当然，世上没有后悔药，已经发生的事情也不能悔改。此时的严颜和张富一样，都对楚国太过轻视，都觉得楚国一个名不正言不顺的小国，怎么会敢主动出击呢？
一个时辰之后，蜀军斥候再次来报：“报，将军，楚国已经在前方五里处，并且停下了脚步，开始列阵！”一直在闭目养神的严颜，闻讯站起身子，活动了一下筋骨，冷笑一声：“这楚军确实畏手畏脚，如同鼠辈。我要是他，定会直接率军突击，还列什么阵呢！”