但曾国藩却将团练一词一分为二，声言自己不办保甲而专办练勇，并以团练为基础，集合兵勇、夫役、工匠等编成陆营、水师，形成兵随将转，兵为将有，全军只服从曾国藩一人的地方军事势力。
湘军这样的制度朝廷怎会满意，合着湘军就是湘系将领的私人武装，跟朝廷没多大关系了？
自古以来，中央最忌的便是拥兵自重的藩镇，湘军模式绝对有成为藩镇的基础，朝廷不打压那就不正常了。
随后在与太平军的战斗中，国家经制之兵屡遭败绩，湘军却不断取胜。但是，湘军将领并没有受到重用。咸丰四年（1854年），湘军攻占湖北省城武昌，咸丰帝闻报大喜，当即任命曾国藩署理湖北巡抚，不过很快又收回成命。
除非万不得已，咸丰帝是绝不肯让湘军将领兼掌军政大权的。
从这次事件便可看出，朝廷对湘军的防备之深，再对比一路扶摇直上的乡勇队统帅吴可，赤落落的差别待遇。
乡勇队实际上也是吴可的敌军，但吴可从没在外显露过，并且在一定程度上还是很配合朝廷的调度，最重要的是乡勇队乃纯粹的军事组织，不像湘军这般领头人都是文人阶层让朝廷忌惮。
太平天国起义迅猛发展，湘军的地位和作用也日益凸显，湘军集团逐渐取得地方军政大权。咸丰五年（1855年），清廷任命胡林翼署理湖北巡抚，与他同在武昌主政的是湖广总督官文。
清代官制中总督偏重军政，巡抚偏重民政，军权应归于官文。可官文贪鄙庸劣见识浅薄，只因是满洲正白旗贵族而为咸丰帝所重用，所部军队战斗力极差。胡林翼抚鄂之初官文每多掣肘，胡虽申奏但咸丰帝仍下严旨要其会同官文办理湖北军政。
不得已之下，胡林翼改变策略，转而与官文结交，在公，文中每列官文为首功，每月拨盐厘3000两相赠，还让自己的母亲认官文宠妾为义女，进而与官文兄弟相称。不过胡林翼并非与官文同流合污，而是试图加以利用。
官文也深知在此战争环境，多少督抚因为不善带兵，或死于战事或被罢职免官，于是也乐于依靠这个对自己恭敬备至的胡林翼。在官文看来既然胡林翼满足了自己对声色货利的喜好，自己赞同他的军政主张也算是礼尚往来。
于是，胡林翼大刀阔斧厉行改革，稳定湖北局势从而在同太平天国争夺长江中下游地区时处于有利地位。
但事实上，朝廷从来都没有放弃对地方权力的严格控制和打压。所以如果不是胡林翼巧妙运用权术，让朝廷认为改革措施多为官文主张，湘军集团是难以迅速发展起来的。
咸丰七年（1857年），曾国藩借父丧之机，向咸丰帝摊牌索要更大权力。朝廷以为太平天国行将覆灭，断然令曾国藩在籍守制。不料三年后江南大营再次崩溃，太平天国基本控制了富庶的大半江南地区，切断了朝廷赋税、漕粮的主要供应渠道。
于是，山穷水尽的朝廷陷入两难境地：要么拘泥于不轻易授予汉人实权的旧制而坐以待毙，要么听任湘军壮大势力，但可以利用他们来度过亡国危机。
而在太平天国大军的逼迫下，舍湘军和乡勇队而无其他劲旅可以依靠，而乡勇队又交恶皇帝不得重视，清廷只能容忍湘军将领执掌地方军政大权，于是任命曾国藩署理两江总督。
为最大限度地发挥湘军集团的作用，清廷由被迫放权转向主动授予他们更大的权力。同治员年十月命曾国藩督办江、皖、赣、浙四省军务。十二月，任命李续宜为湖北巡抚，彭玉麟为兵部侍郎。
次年正月，命曾国藩以两江总督协办大学士。十二月刘长佑调任直隶总督。同治二年（1863年）曾国荃补授浙江巡抚，唐训方补授安徽巡抚，郭嵩焘补授广东巡抚，刘蓉补授陕西巡抚。
次年杨载福补授陕甘总督。加上四川总督骆秉章，短短几年间，湘军集团势力急剧膨胀，南至两广，北到直隶，东到两江，西至陕甘，诸多地方由湘人出任督抚。而他们手中所握有的权力，远远超过此前的清代督抚。
依照清制总督主军政，但是除了自己的督标营之外，并不能越过提督直接干预营务；巡抚主民政，除了自己的抚标营外，也不能干预营务；布政使掌财政，直属户部；按察使掌司法、监察，直属刑部。
可见军政大权都集于中央，地方大员各负其责互不统属，谁都不能自行其事，只能听命于中央。而咸同年间特别是同治初年，大批湘军将领位任督抚，他们既主军又主政，兵、政合一之势已成，再加上兵饷自筹，厘金完全由督抚支配，原本应该上交户部的地丁、漕折、关税、盐课等项银两也被督抚截留，大半充作军饷。
这样一省三宪——即巡抚、布政使、按察使鼎足而三的局面再也不复存在，督抚专权的局面势将形成，湘军集团的权力在此情形下也达到了顶峰。
湘军的权利实在太大，名头也实在太响，成为朝廷打压的靶子和标杆理所当然，特别是在太平天国覆灭的当口……
...