袁世凯的军的确不是蒙山贼们见识过的绿营兵可比。自咸丰年间洪杨乱起，朝廷的正规陆军已经瓦解，清廷的武力本来分为两大种类，以满族（含蒙古族的旗营和以汉人为主的绿营，曾经剽悍敌的旗营在入关建政二百年后已经彻底腐化，在平定太平天国的战争初期，旗营官兵战斗力已经被证明低于朝廷一向不甚重视的绿营。实际上，洪杨的太平军将绿营和旗营都打残了，最后灭掉洪杨的是以毅勇侯曾国藩组建的湘勇为代表的地方武装，他们有着与旗营和绿营完全不同的编制和训练。至后来的捻子乱起，各地残余的旗营和绿营便纷纷改制。直到甲午惨败于朝廷一向瞧不上的日本，痛定思痛的朝廷有识之士开始组建完全不同于绿营的式陆军。他们抛弃了原来旗营的都统、参领，佐领，催领、马甲等编制，绿营也改变了提督、总兵，副将，参将，游击，都司，守备，千总，把总等原有的官职设置，下层一律按照曾侯设定的湘勇营编制，一百人为一哨，五哨为一营，三营为一旗，三旗成一军。参将领旗，副将领军，总兵便领数军了。
而袁世凯在天津小站编练的军与上述编制又有不同。说起清廷的军，起始原因却是因为甲午大败于日本。甲午一战，打破了满清朝廷的醉死梦生的迷梦。修明武备，改练军的呼声大起。时任广西按察使的胡燏棻是当时主张改练军的主要倡导人之一，光绪二十年（1894年清廷命胡燏棻在天津马厂编练军“定武军”，第二年九月移驻小站。
“定武军”仿照西法创练军，聘请德国人汉纳根、史克纳及挪威人曼德等为教习，从组织、训练和武器等方面进行全面改革。
1895年4月13日，甲午战争刚刚结束，在朝鲜东学党人事变中表现出色进入中枢视野的袁世凯便上书李鸿章，发表了他对时局的看法。不但详细分析了清军失败的原因，提出了采用西法练兵的主张，而且陈述了自己“广设学堂，精选生徒，延西人为之师，严加督课，分带出洋游历学习”的军事教育理论。此后，袁世凯又多次上书，陈述自己的军事改革思想，并组织力量将国外的兵制典章，军事著作翻译为中文，他的幕友们为他译撰的十二卷《陆军兵书》，全面介绍和评述了西方军事制度和军事理论。对于这些来之不易的资料，袁世凯一方面潜心研究，加紧学习近代军事知识，丰富自己的军事理论，另一方面，他将这些资料分赠王公大臣以开拓他们的眼界，为朝廷的军事改革做理论上和思想上的准备。袁世凯自成体系的建军思想博得了众多朝廷要员的赏识，博得了“知兵”之名。
1895年12月，经督办军务处五大臣保荐，光绪皇帝终于将整顿京畿旧军和编练式陆军的试点任务交给了袁世凯，接替胡燏棻操练军。
狡诈的袁世凯深知帝国官场的要害，他知道仅有朝廷大臣的支持是不够的，还必须有内廷的支持。他通过之前结识的一个在李莲英弟弟家里做家庭教师的叫阮忠枢的朋友，与慈禧面前的第一红人李莲英拉上了关系。等到醇亲王，庆亲王会同军机大臣保荐他训练军的时候，深居内宫但仍掌控大局的西太后立即便批准了。显然李莲英起了很大的作用。
袁世凯接替胡燏棻后，在原十个营5000人定武军的基础上又招募2000余人，这就是他军起家的本钱。
袁世凯将这个难得的机会视为一生事业的又一个重要发端。他已认识到军权的重要性，在小站练兵时下了大工夫，很有些扑下身子埋头苦干的劲头。他不仅可以叫出所有军官的名字，而且连最下层的棚头弁目都能认识，而且熟悉他们的性格长短。袁世凯深知旧军吃空饷的恶果，所以他坚决在军中杜绝此弊端，甚至亲自点名发饷。
袁世凯不愧是晚晴第一流的枭雄，他知道仅靠他一人的力量是不成的，必须有一帮与他志同道合的同志来共同
办这个事业。他先是找来自幼的好朋友徐世昌做参谋长，徐虽然不懂军事，但为人机敏，颇有干才，为袁世凯的军大业起到了非常重要的作用。除徐世昌外，唐绍仪，任深秀也被他招纳成为其文事上的重要助手。
在武事方面，袁世凯经人推荐和自己搜罗，罗了武备学堂毕业的梁殿华、王士珍、段祺瑞、冯国璋等人。除掉因夜操失足落水而死的梁殿华外，后三人人称“北洋三杰”。成为袁世凯军事上最得力的助手。其余如武备学堂毕业生曹锟，张怀芝，卢永祥，段芝贵，王占元，李纯，陆建章等，均成为袁世凯信任并重用的干部。
为了编练军，袁世凯聘请了二十余名德国职业军人做他的军的教官。袁世凯为了提高部队的素质，建立了行营武备学堂，其实就是他的随营学校，分步、马、炮等专业。
袁世凯治军极严，军的治军章程、律条、法令周备详尽。对于遵章守律突出的，记功，赏银或提升。对于违章犯纪的，打军棍，插耳箭示众，罚扣薪水，最重的即处斩。