1895年11月19日，袁世凯接到朝廷命令，接替胡燏棻去天津练兵。
袁世凯派人到鲁、苏、皖、豫等地招募2250名步兵，300名骑兵，再加上原有的4750名定武军，一共7300人。包括伙夫、马吏等人，总数达万人以上。
袁世凯在天津与塘沽之间的小站操练兵马，史称“小站练兵”。
1898年10月，袁世凯的“新建陆军”改为“武卫右军”。1900年，在对抗八国联军的战斗中，留在山东镇压义和团，没有对抗外军，力量保持完整。这股兵力后来成为清末陆军主力，也是北洋军阀的前身。
据说每日操课前后，军官都有“三问”，第一问：“我们吃谁家的饭？”所有士兵齐声回答：“袁宫保的饭！”。二问；“我们穿谁家的衣？”齐答：“袁宫保的衣！”第三问：“那我们为谁家死，为谁家出力？”齐答：“为袁宫保死，为袁宫保出力！”
在袁世凯的训练下，士兵们只知有袁世凯，不知有大清朝。
许多知名将领都曾在此新军中任职，如段祺瑞、冯国璋、曹锟、张勋等人。
段祺瑞：主管炮兵，后又担任炮兵学堂监督。
冯国璋：督练营务处总办。
曹锟：营帮带。
张勋：工程营管带，相当于营长，后担任行营中军，相当于近卫队官。
1898年12月，新军改为“武卫右军”，直接受直隶总督兼北洋大臣荣禄节制。
1898年10月27日，英国海军将领贝思福勋爵去小站拜访袁世凯，他参观了他的军队。在他的书中这样说：
这支军队有七千四百人，大多数是山东人。他们与湖南人据说是中国最优秀的士兵。袁世凯将军是汉人，他的军队由汉人组成。陆军配备的毛瑟枪是德国造的。有十个中队的炮兵，有六种口径的大炮，能发射一磅到六磅的炮弹。骑兵配有矛枪和毛瑟枪。阅兵场士兵们异常灵活整齐，健美无比。
应我的请求，将军指挥他们不断变换队形，随后又在附近的农村进行了实战演习，我觉得全体将士都熟谙其职。军队纪律严明。
贝思福评论说这是他“在中国看到的唯一一支完全合乎西方标准的真正的军队”。
贝思福对袁世凯的评价非常高，他这样说：
将军（袁世凯）精力充沛，极富智慧，受过良好的教育。他还是个彻头彻尾的爱国者，绝对忠于朝廷。他为祖国的前途深表忧虑，认为除非朝廷采取某些措施自保，否则没有任何力量能阻止其士崩瓦解。如果所有的中国将领都像袁世凯那样，他们的军队及财政管理就不会是现在这个样子，袁世凯将军把军费全花在士兵身上。他亲自监督给士兵发饷，发放食物和衣服。
当时，贝思福无论如何也想不到，就是这个“彻头彻尾的爱国者”、“绝对忠于朝廷”的袁世凯，首先在“戊戌变法”中背叛了光绪皇帝，于1898年9月20日向荣禄告密，导致变法失败。其次于1912年1月26日，授意段祺瑞等北洋军五十位将领发布了《北洋五十将乞共和电》，向隆裕太后逼宫，逼迫溥仪退位，清帝国把政权交给自己，背叛了大清国。最后于1915年12月12日称帝，推翻共和，复辟帝制，改中华民国为“中华帝国”。
