一九二四年冯玉祥与孙中山先生取得联系，联合胡景翼、孙岳两部，组成国民军。冯、胡、孙等三部，分别改为国民一、二、三军。同年九月，爆发了直奉第二次大战。十月，冯玉祥班师回京，发动了北京政变，囚禁了曹锟，直系瓦解。政变后，皖系段祺瑞出任执政，划察哈尔、绥远、京兆和甘肃等地归冯玉祥，并发表冯玉祥为西北边防督办，督办公署设在北京南苑；国民一军改称西北陆军，归西北边防督办公署直辖，另令准西北陆军增编为六个师三个旅。从此冯玉祥所属各部队，被称为西北军。

西北军以防区日渐扩大，军队必须增编。冯玉祥感到军事教育，乃建军的基础，募兵条件，要求从严。我就在这时（一九二五年春）投入了西北军。初被录用为学兵团上尉教官，旋又随同招募人员赴豫省信阳、归德等县，招募新兵。

冯玉祥的招募办法很严格，以农民为基本对象，也招收工厂或商店的学徒，身高不够尺寸的不要，体格不够健壮的不要，兵油子也不要。冯玉祥还派中下级军官回乡，联络其亲戚朋友，劝令他们送子弟入伍。那时，军中各级官佐，许可使用十三、四岁的童年勤务兵，规定入营后，发给黑色制服、戏呼为“小煤球”，到入伍年龄后，入营当兵，这也是西北军的兵源之一。冯素称爱兵如命，新兵入伍后，他总要亲来看望，问长问短，如果有新兵的父兄前来时，必令连排长热情接待，妥备食宿，临走时，还送给一匹蓝布。新兵的亲属，对此都很感动，再三地嘱咐他们的子弟要好好干。每逢清明节时，冯玉祥特印制信封、信纸，发给士兵清明专用，因上面印有乌鸦反哺、羊羔跪乳的图象，可激发士兵孝亲的情怀，也告慰其父兄之悬念。因此，西北军的新兵，大多数身强力壮，思想安定，这是西北军素质纯朴、精神旺盛的重要因素。(www.daowen.com)

不久，冯玉祥成立西北边防公署训练总监部，以第二师师长刘郁芬任总监。总监部以下，设步、骑、炮、工、辎和机关枪等科，每科设上校科长一人，中、少校和上尉科员各一人。所有科长及科员等人，大部是从保定军校调来的教官和毕业学生等。这时我由学兵团调到总监部炮兵科任科员。后来，冯玉祥在绥远集宁集训全军炮兵，成立炮兵旅，以孙连仲任炮兵旅旅长，我本来是保定九期炮科毕业，现在又是总监部炮兵科员，遂被调来炮兵旅，任第一团团附。