到了下午时分，西门军仪带来个不好的消息。郡的三万兵马都被李子通以督军司马的名义全部带走。
原来李子通早有布置，郡的兵马主力全都被他事先集中在以东一个军营中，上午逃窜经过那时，顺路就带走了这些兵力，另外又顺道带走几个县城的驻军，往高邮而去。
杜伏威心里咯噔一下，说道【不好】。这李子通带着大军向高邮而去，显然是打高邮的主意。而高邮方面的守军还不知道他叛变的消息，李子通可以很容易骗过高邮守将，发动奇袭，吞并高邮的守军。
此时的李子通正在高邮与交界处的永福县“整编”军队。此时他才公开了和杜伏威决裂的消息。那些被他骗到此处的原杜伏威部惊诧无比，但是这些部队亲杜伏威的头领此时皆被李子通斩杀，头颅尸体都堆积在位于永福县主街正中的菜市场上。普通兵卒和底层小头目慑于李子通的威势，即使心中不愿意，也不敢表露出来和公开反对。
很快，他就将这些部队的将校全部安插为自己的亲信。李子通清楚，这永福县绝非自己久留之地。东北面的高邮还分屯有杜伏威的三万大军，若是杜伏威与他们取得联系东西夹击自己，围攻永福，自己也难逃覆灭的下场。
于是，李子通己打定主意，急令全军向高邮进发。他想如法炮制，将杜伏威高邮的部队也给吞并了。而后长期盘踞高邮，这高邮东扼邗沟，北临淮河，境内沟壑纵横，芦苇丛生，正是用兵之所在。
就在李子通抵达高邮之时，杜伏威派往高邮的快马也将信笺送到高邮守将手中。李子通的计策自然是没有得逞，双方随即爆发战斗。这一仗持续了整整十五天，双方大小接战十余场，最终李子通部坚持不住，三万临时拼凑起来的大军逐渐溃散，李子通只好率着本部兵马向淮河以北败逃。高邮的杜伏威部守军虽胜，亦有很大伤亡。
恰恰在这个时候，杨广令江都的隋军对高邮发起猛烈进攻。桨帆战舰顺着邗沟驶入高邮境内各个湖泊，隋军精锐，两万骁果军战兵步卒倾巢出动向高邮各县发起全面进攻，除此还有五万驻守江都的其余隋军配合。杨广甚至出动了天兴军的山地长枪兵和长弓手。
已经损耗严重的杜伏威部高邮守军哪能抵抗的了如此猛烈进攻。抵抗了数天后就全线溃败。三万贼军大部分被歼灭，少部分逃向。此时，陈俊又加强了县北面的盱胎县兵力，形成对的合围之势。
县城的府衙庭院内，杜伏威看着阴霾的天空，眉头紧锁的发着呆。如今他的实力大损，所有兵力加起来不到万人，而且先后损失多名大将，李子通叛变，这些给他的打击不小。
以前，他不是没遇到过这种情况，最终还是克服难关，挺过来了，不仅没灭亡，反而茁壮成长起来。但今时不比往日了，这隋军显然实力士气都大大高于此前，最重要的是民心似乎倒向了隋朝那边，自己募兵都困难了许多。他知道这是罪己诏的效果，皇帝以诏书的形式表明了悔过的态度，保证不再随意耗费民力，并且许诺之前征役民力过度的地区免税三年。