彦根藩邸的大火并没有影响到江户城里的战斗，将军本丸在没有受到远程攻击袭扰的暴徒面前其实不堪一击，不过数分钟本丸的大门也被击破，德川家茂不得不亲自带队与敌人肉搏，但是江户城里的各番组太久没有进行战事了，即使德川家茂亲临战力还是不堪一击，暴徒人多势众心存死志，而德川家茂这边除了一支小姓番死战不退，剩下的书院番组和大番组很快又败退了。他们本身战斗力不高么？不，每日也是不停锻炼自己的武士不可能战斗力低下，之所以那么容易就溃败了只能说他们没有被逼到份上，江户城太大了，可以往后退的地方太多了，只要一直还有可以退的地方人就不会拼死战斗。
“将军大人，撤回天守阁，不能再在这里打下去了。”伴随着其他几个番队的撤退跟随德川家茂上阵的那只小姓番在暴徒的攻击下压力陡增很快就失去继续战斗的能力了只是还在勉力抵抗，一个小姓见势不妙赶紧向将军提出撤退的要求。“撤，撤回天守继续作战。”德川家茂毕竟还是一个青年，不会像井伊直弼那般拼死一战的，内心的恐惧，同样亦是没有背水一战的条件使德川家茂同样选择了撤退。
“乓”，一声枪响此时突然划过德川家茂的耳旁，萌生退志的德川家茂颓然激昂了起来，“铁炮队上来了，不许退，顶住给铁炮队推延时间，不要让他们接近铁炮队。”这一枪给德川家茂注入了天大的勇气，果然一支三十人左右的手持铁炮的队伍正以最快的速度切入战场，“乓”一阵枪声给守军提起了极大的勇气，暴徒们一下子就伤亡了十几人，毕竟刀剑之伤除了砍到要害否则无法一击致命，而铁炮只要在有效距离内打中一枪，那是非死也要失去战斗能力的。本来已经退却的其他几个番组此时也重新加入了战斗，战斗开始向着守军方向倾斜。
可是铁炮的准备时间太久且射程太有限了，在刚才的一阵枪后，铁炮队就进入了费劲的再装填过程，“拖住，一定要拖住。”德川家茂挥着着自己手中的佩刀，指挥着战斗，此时的战局残存的小姓番与其他几个番组将暴徒死死地拖住，暴徒的一侧空门大开，给铁炮队的射击提供了良好的空间，而暴徒们则根本没有把那点铁炮队放在眼里，他们目标只有一个就是尽快消灭将军，所以没有理睬在一旁慢吞吞装填的人数极少的铁炮队。“轰”一道闪电划过天际，德川家茂的脸一样子就变得难看了，“别下雨，千万别下雨。”德川家茂此刻心里默默地祈祷，可是天不遂人愿，几声雷后，倾盆暴雨毫无征兆的就泄了下来。
铁炮队，毁了，大雨下老式的铁炮根本无法击发，铁炮队瞬时哑火。失去了远程火力的支援守方士气一下子就跌落了下来，德川家茂没有任何的犹豫时间了，除了撤退此时任何的命令都是无意义的，可是由于之前的命令守方根本无法脱离暴徒的战斗范围，无法后撤，强行后撤只会造成更大的伤亡，出战的八十人小姓番此时只余五人，其他番队虽然剩下不少人，可是都惶惶如丧家之犬，支援部队尚未到达，再也没有可以依靠的部队了，德川家茂面如死灰，而暴徒们脸上都透出了胜利的喜悦，德川家茂必然命丧于此了。
“准备····放。”伴随着一声口令一阵排枪响声打破了大雨中的局面。这回暴徒不是只是死伤十几人了，这阵枪响后只见暴徒众里猛然间就绽放了大量的血花，一团一团的透出血腥的美丽。有的暴徒被一抢打中了脑袋，脑袋随着枪声炸的四分五裂，有的被打中手臂，手臂一下子就被炸断，有的被打中大腿的，大腿从受弹处齐整的炸裂开，残肢脑浆鲜血，在大雨中四处飞散，哀嚎声一下子就打断了本来不间断的刀剑交响之声。攻守双方都被这残酷血腥的一幕给震住了，一切的注意力都被集中到了枪声的来源。
“是他。”德川家茂看清这支队伍的指挥者后，格外的惊讶居然会是一直呆在吹上的井上村辅，虽然德川家茂时不时就会去吹上的这支部队的驻地待一待，但是德川家茂从来就没有把这支部队当过真，只是出于建二的面子才设立了并维持了这支部队。可此时这支部队一出场就震住了所有的人。