粟裕率三团从进驻横山起至八月的一个多月内，就摧毁了禄口、朱门、陆郎、博望、老虎墩等处的敌伪据点和维持会十三个，收复了小丹阳、横溪、谢村、护驾墩、霍里、濮塘等村镇。三团在摧毁禄口、朱门敌伪据点时，救出已被强征即将送往南京做“慰安妇”的青年妇女三十多人。
三团在当涂一带开展的抗日游击战争沉重地打痛了敌人。铁路、机场都是日寇要命的地方，日寇招降当涂县境的**残兵败将本来指日可待也让粟裕给破坏了。同时日寇企图占领出产大量乌砂的石马矿山。日寇因此调整兵力部署，不惜放弃宣城、溧阳县城，调集第十五旅团所属两个联队企图一举聚歼三团于小丹阳。
根据可靠情报，日军第十五旅团所属两个联队及其一部，共计步兵四千余名、骑兵五百余名、重炮十余门、轻炮数十门、水上飞机八架（停泊于采石江口）、轰炸机二十架、装甲汽车数辆，进至当涂与薛镇之间的洞阳镇附近；另一部乘装甲汽船两艘、携炮四门，由花津进至小丹阳以南的什家桥附近。同时，陶吴及霍里附近亦到装甲车数辆。日寇虽然来势汹汹，兵力多于二支队数倍，但他们兵力分散。
粟裕注视着敌情发展，筹谋应敌良策。粟裕决定采取敌进我进游击战术，变被动为主动，分散袭击敌人后方。
八月二十二日，日寇分别在秣陵关、溧水、当涂集中兵力，分进合击小丹阳。第二天晚上，三团迅速向敌人后方袭击，在陶吴、杨庄，上泗龙、太平山一带侧击日寇。三团以劣势的装备抗击日寇，日寇则动用二十余架飞机，重炮、机枪向与之对峙的三团阵地射击。敌强我弱，众寡悬殊，局面复杂险恶。
正在关键时刻，二支队司令员张鼎丞率领第四团团部和第三营呼应粟裕对付敌人的扫荡。张鼎丞得知南京城内日军大部已被华中派遣军司令部调走会攻武汉，城内仅有二万驻兵，立即派出少量精锐部队，从陶吴镇北面的徐村悄悄出发，直奔中华门外雨花台，连夜打下雨花台，将军旗插到雨花台制高点。逃入南京城内的敌兵惊惶失措，说是大股新四军开来要进攻南京。日军指挥官害怕了，雨花台东面的大校场每天上午有四五十架飞机起飞去轰炸武汉，中午飞回。如果大校场空军主要基地丢失，几十万进攻武汉的日军失去空中支援，那非被中**队消灭不可。日军指挥官下令城南各城门紧闭，赶紧收缩兵力，重点保护飞机场，同时要扫荡的日军赶快回防南京城。
此时一支队司令员陈毅接到粟裕电报，已动员广大地方武装及人民群众在茅山地区进攻敌人后方，将京沪、京杭、镇句、句丹、京镇各公路彻底破坏，并派部队进袭麒麟门，策应二支队粟裕的作战行动。
这几手过后，局面顿时缓和。日寇到达小丹阳，不见新四军踪影，却连连收到后方告急电报，慌忙撤退回防，退守溧水、秣陵关等地。粟裕可不是个见好就收的人，危机一缓，命令部队抓住战机勇猛追击，收复小丹阳、薛镇、护驾墩、横溪桥、桑园铺、博望等地。
日军在江南的兵力不足，但粟裕的人枪更少。粉碎日寇的扫荡后，粟裕一面命令三团继续打击日寇，并取得不俗战绩：单十月二日，三团一部在秣陵至碌口间伏击日军修桥部队，击毙日军三十四人，缴获轻机枪三挺，烧毁汽车一辆，同日袭击南京至溧水公路上的碌口据点，毙伤日军十四名；一面腾出手来扩大队伍。他回到在大官圩，亲自将当涂县民间自发组织的抗日团体“当芜青年抗日救亡团”改编为二支队特务大队，由救亡团负责人朱昌鲁任大队长；又将活跃在当涂县北部刘一鸿组织的抗日游击小组改为“苏皖边区抗日自卫大队”，由刘一鸿任大队长。
刘一鸿，原名刘传儒，当涂县坝头村(今马鞍山市)人，原为当涂县采石镇邮电局长、国民党员，抗战爆发后，他变卖家产购置枪支弹药，发动家乡群众，成立抗日武装，在坝头、小丹阳、横溪桥、采石一带，割电线，扒铁路，袭击日军，保卫家乡。他对粟裕说：“我为何要投奔**，道理很简单，蒋介石不抵抗，国民党太**!我是中国人，不甘忍受日寇的蹂躏欺侮。我要抗日，所以我到新四军来了。我要把鲜血洒在疆场上!”对国民政府不满之情溢于言表。
说蒋介石不抵抗有点过，但说国民党**、**无能在某种意义上说倒也是实情：国民党调集一百三十个师和各型飞机两百余架、各型舰艇及布雷小轮三十余艘，共百万余人保卫武汉，但到十月，武汉仍然沦陷。武汉沦陷后，日军得以腾出兵力，新调第十五、十七师团、杭州地区的第一一六师团和东北的伪满军五千余人增调江南。日军采取封锁交通、增筑据点，分进合击的战术，企图将二支队一网打尽。
时张鼎丞率四团与粟裕会合，那时四团的人事上有一些变化，四团的副团长叶志道已经走了，新来一个叫张道庸的人接替他担任。张道庸是安徽省霍丘县人，红四方面军过来的团长，参加过长征。这人刚来时有点郁闷，因为他原来是第一支队的副参谋长，现在当四团的副团长，算是降了职。这个张道庸就是大名鼎鼎的陶勇。
由于当涂县形势严峻，第三团除留第二营继续在大官圩活动外，余部回驻横山地区。粟裕和张鼎丞率二支队机关移驻宣城北乡的史家湾、东华里、上冯村、慈溪等地，后移到宣城固城湖边的狸头桥。