宁汉合流后，冯玉祥继续着他的“北伐”大业，与直鲁、奉军交战，两次兰封大战后，冯感势单力薄，便请蒋介石出山，共同北伐。在蒋的主持下，北伐大业又告“辉煌”。
早在１９２７年４月底，冯玉祥的国民军联军就被武汉国民政府改编为国民革命军第二集团军，冯为总司令，宁汉合流后，他的这个集团军总司令地位再次被肯定。冯玉祥于是将他所部原有各军与新易职来投的各军改编为８个方面军，后来在攻克徐州时，又增加了一个第九方面军，冯军集团已开始蒸蒸日上，成为当时中国比较有实力、有影响、独当一面的力量。
即至此时，冯玉祥念念不忘的仍是他的“北伐”事业。宁汉合流，冯卸“红娘”一职后，便继续开始与奉、鲁军阀大混战，其中最为主要的是两次兰封大战。
兰封大战是冯军与直鲁军之间展开的激战。第一次兰封大战爆发于１９２７年１０月２３日，双方经过近半个月的鏖战，到１１月６日，冯军俘直鲁军２万余名，获枪３万余支，钢甲车５列，大炮４０余门，并且重创了直鲁军的左翼，其正面损失较次，而右翼号称精悍的刘志强、潘鸿钧等部，却安全撤去，实力没有受到损失。因此，必须再次大战，才能消灭其全部主力。
冯玉祥稍加布置后，和直鲁军再战兰封。１１月２３日，第二次兰封大战的硝烟又起。直鲁军，尤其是其右路刘、潘自恃实力雄厚而气焰嚣张，麻痹大意，而冯军却是越战越勇，最后，再次大败直鲁军于兰封。到１２月１日夏邑被收复后，第二次兰封大战遂告结束。这次战役，肃清了豫东，张宗昌、褚玉璞的主力亦损失殆尽。
同时，冯玉祥还联络山西的阎锡山与奉军作战，但却不尽如意，攻济南未克，又放弃徐州。对于北伐，冯玉祥看来是独力难支，因此他更热心撮合宁汉，呼叫“共同北伐”了。
８月１３日，还在宁汉未正式合流前，南京政府的蒋介石被迫通电下野。这是汪精卫同意武汉政府迁都南京的条件之一，而且南京政府中的胡汉民、李宗仁等也通电希望武汉方面来南京“柄政”，蒋无奈辞职。９月３日，宁汉合流，汪精卫、谭延闿、孙科等翩然赴宁，这给冯玉祥以无限希望。因为他幻想宁汉既称统一，定可继续完成“北伐”，因此在这一段时间里，冯玉祥屡次发电呼吁，要求共同北伐。
１０月１日，冯致电南京国民政府，大谈其军事步骤：“第一步可会师齐鲁，第二步可协捣幽燕，第三步可直取辽东，扫穴犁庭。”但摆在他面前的事实，却令人失望，不容他有一点乐观之意：津浦线上的何应钦军，停滞不进，有时甚至虚报胜利；后方叛变之事接二连三，靳云鹗叛变，田玉法叛变，姜明玉叛变，令冯玉祥大伤脑筋。阎锡山方面又屡遭失败，冯也无力前往应援，导致１１月６日阎军全线总退却。
这时，新成为蒋介石亲戚的宋、孔要人出面了，他们大力游说，宣传现在之局势，非得由蒋介石出面主持不可。这倒给冯玉祥指明了一条路，即请蒋介石出山。１１月１８日，冯玉祥致电熊斌，请蒋介石出山。
当时，冯军驻扎在郑州，而张作霖从河北向南进攻，张宗昌从山东向西进攻，冯玉祥军事压力很大，而孔祥熙所夸口的如果蒋介石再起，不但会在战斗上减轻第二集团军负担，而且在饷弹方面也会得到大量补充，这正合冯玉祥的心意。因此，冯希望蒋即日出山。于是，第二次兰封大战后，１９２７年１２月２日，冯玉祥直接致电蒋介石，要求蒋尽快复出，主持一切，否则，北伐之军队将逐次被敌军各个击破。
不仅如此，冯玉祥又联络阎锡山联名通电要求拥蒋复职，并分别致电国民党中央和南京政府，请政府起用蒋介石主持军政，而后再次致电蒋，语言更为热烈。在冯、阎两电发出之后，何应钦等也不得不通电响应，于是，以“革命”为重，被“千呼万唤”出来的蒋介石，于１９２８年１月４日，到南京宣告复职，继续“北伐”。
蒋介石出山令冯玉祥大喜。一经攻克曹县、肃清豫北后，冯即约蒋介石会商共同“北伐”。２月１６日，蒋、冯在开封会面，二人相见，悲喜交集。对于冯玉祥的大恩大德，蒋介石自是“感激不尽”，遂要求与冯结拜为兄弟。１８日，两人正式换帖。冯玉祥的帖子是：“结盟真意，是为主义，碎尸万段，在所不计。”蒋介石写的帖子是：“安危共仗，甘苦同尝，海枯石烂，生死不渝。”冯玉祥比蒋介石大５岁，因此蒋称冯为大哥，冯也以兄长自居。
在开封，他们还商定了作战计划，彰德、大名及山西方面，均采取守势，先集中优势兵力，解决山东方面之敌。在蒋介石的主持之下，北伐大业又告“辉煌”。
在山西方面，奉军进攻甚急，欲乘“北伐”大军尚未进攻之前，先陷山西，以图各个击破。冯玉祥与蒋介石会晤完后，于３月７日稳驻新乡，昼则运兵北进，夜则运回，故作进攻之势，来牵制攻晋的奉军，而诱敌主力于彰德方面，使“北伐”军真正主攻的方面，易于进军。奉军果然上当，自作聪明地布置了一番。双方于４月１日开始全线作战。“北伐”军大发威力，将奉军全线打退。
之后，冯蒋再次会晤于野鸡岗，两兄弟总结经验，重新布置，决定以济南为目标和中心，于４月２６日开始动手。３１日，直鲁孙传芳军北溃，退出济南。蒋介石马上电约冯义兄前往商议对敌军事。５月２日，冯由新乡起行，但未到济南，即闻日本制造的“济南惨案”。蒋介石面对日本的淫威，借口如与日军冲突，则“北伐”大业势必中断，决定不准抵抗，准备南撤。
冯玉祥则极力主张继续“北伐”，蒋介石无可奈何，同意以一部分部队在济南以南监视，由长清以西渡河追击，并将第一集团军的作战事宜也委请冯玉祥担任指挥，他自己则自谓需南返主持党政事务，悄然回了南京。冯玉祥急调方振武、贺耀祖等部，于１７日攻下德州，孙传芳节节败退，于是济南方面才有了保障，同时亦形成了合围京汉线的局势。
在京汉方面，原计划采取守势，但因山西告急，冯玉祥只好调兵于磁州、大名一带，以分散奉军兵力。奉军于是转移目标，向第二集团军猛扑，双方相持于彰德以北，激战甚烈，直至到５月２８日，彰德冯军才开始在其他各部的配合下全线反攻，相继收复了濮阳、观城、顺德、大名等地，同时，豫西也收复了临汝、密县，并解登封、禹县之围。
此时，沿津浦路、京汉路进攻的部队，已分别逼近沧州、保定。５月１９日，蒋介石再到郑州，会商决定两铁路线各军，限于２５日以前全线进攻。京汉线第三集团军维持现状，第四集团军由白崇禧率部参加，在正定附近集结，鹿钟麟指挥韩复榘各部在晋县附近集结。这时的奉军已军心大乱，不堪一击。５月３０日，“北伐军”占领雄县，３１日克高阳，６月１日，河间被攻克，６日，韩复榘部完全占领南苑，但蒋却不许他进入北京城。
在５月２９日蒋冯于道口以西的柳卫车站会晤时，蒋即要求冯玉祥破敌后，进至静海、胜芳、永清、固安、长辛店一线，停止待命，让阎锡山进城，冯对蒋介石如此之要求不得不答应。现在，阎锡山还未到，而韩复榘已占南苑，蒋介石急派第三集团军张荫梧部兼程于８日赶到，张随即任北平警备司令。冯玉祥如此功劳，蒋却连北平城也不许他进。
在“北伐军”挺进之时，张作霖于６月３日放弃华北，退出北京，却不料祸不单行，４日凌晨，当他坐车行至沈阳附近皇姑屯车站时，被日本关东军预先埋置的炸弹炸死。１０日，阎锡山抵北平，就任平、津卫戍总司令。１５日，南京政府宣告“北伐完成”。
蒋的再度出山是冯玉祥一手促成的，蒋冯义结金兰。北伐成功后，冯到南京任职。但他的部队很快被编遣，部下许多被收买。又因受阎锡山之欺骗，在河边村被软禁了相当一段时间。
１９２８年７月１日，蒋介石到郑州，邀冯赴北京。到北京西山祭孙中山灵后，阎锡山宴请蒋介石、冯玉祥、李宗仁，及其他在北京的将领和吴稚晖等。２７日，蒋介石再到开封，对冯兄加以温慰利诱，要冯倡导各集团军总司令都到南京供职，并由冯首先带头入宁。对蒋的诱惑，冯玉祥心动了。８月１日，冯玉祥欣然到南京，就任行政院副院长兼军政部长职务，所谓的“北伐”便告正式完成。
经过冯玉祥十几年的苦心经营，到“北伐”完成时，冯军集团已发展成为一个拥有９个方面军、３２个军、８１个师的庞大的军事集团，在当时蒋、阎、冯、李四大军事集团中，冯系的兵力最为雄厚。对于这一点，蒋介石不可能视而不见，其他各军阀也是心怀戒意。
冯玉祥兴高采烈地到南京就职后，蒋介石便开始对这位冯兄不恭了。两人首先为自己军队的待遇问题开始讨价还价。在诱惑冯玉祥带头入宁时，蒋介石曾许下诺言，说什么“至于历年来第二集团军太苦了，那是因为还未统一，财政没有办法，以后军队都是国家的，大哥只要到了中央，绝对办到一律平等待遇，第一集团军吃什么，第二集团军也吃什么！”
等冯玉祥到了南京，蒋介石又出尔反尔，他劝慰冯玉祥道：“国家虽然统一了，财政的统一和收入的增加，还要经过一个相当的时期。大哥的军队训练有素，纪律是好的，多年不发饷也不兵变；我的部队复杂，不发饷就会发生事故；因而还要委屈第二集团军一个时期。”蒋的这一席话，言外之意就是第一和第二集团军尚不能平等待遇，但第二集团军还要“委屈”多长时间呢？蒋介石没有说。在这位言而无信的义弟面前，冯玉祥只好把心中的不满再次隐忍下去。
冯玉祥能忍，而蒋介石却步步紧逼，要编遣军队，要裁冯玉祥的兵。这对一个视军队如生命的军人、军阀来说，无异于是要他的命！在蒋联阎制裁冯的这一撒手锏面前，冯玉祥还会忍吗？当时，对编遣军队这一重大问题，蒋、桂、阎、冯各有打算。但无奈在这个问题上，蒋、桂、阎联合起来了，冯玉祥完全陷于孤立，第二集团军改为第二编遣区，编为１２个师，归中央编遣区，也就是归蒋介石掌握，岳维峻、刘镇华划在第二编遣区以外。
而且，冯玉祥在职务上也受到蒋的挟制，他虽名为军政部长，但却管不了军需署，尤其不能过问蒋介石的开支；编遣方面，第一编遣区（即原第一集团军范围里）的情况，拒不呈报军政部，第二集团军发饷问题的解决，更遥遥无期。并且蒋介石在山东方面对第二集团军多方扼制。
蒋一方面于７月发表冯部孙良诚为山东省主席，此时日本侵略军还占据济南，省政府暂设在泰安；另一方面密电日军，要求其留驻济南，须等顾祝同部到达兖州以北时，方可撤退。同时又将张宗昌残部刘珍年部改编，直接受蒋统辖，划胶东为刘驻军地区，以控制海口。这样一来，冯军在山东并未得到什么实惠。直到这时，冯玉祥才知蒋介石的用心。在李烈钧的参谋下，１９２９年２月５日，冯玉祥以到后方养病为名，匆匆离开南京，回到自己的部队。蒋冯矛盾公开化了，开始的“兄弟之情义”便也荡然无存。
此时桂系的李（宗仁）、白（崇禧）也与蒋之间有极深的矛盾，他们静观了蒋、冯二人的这一出戏后，认为他们之间已公开决裂了，反蒋的时机已经成熟，于是于３月发动了对蒋的战争。有意思的是，战争双方同时来拉拢冯玉祥。桂系要冯共同反蒋，蒋介石则以诱人的条件要冯援助，而冯玉祥呢，也是两头应之。他心里有一算盘即先作壁上观，待一败一伤后，再收卞庄刺虎之利。作好打算后，他即派韩复榘为总指挥，着手军事部署，沿京汉线南下，但谁也不知他到底是助桂还是助蒋。
但事情的发展却大出冯玉祥所料，桂军李明瑞被蒋介石收买，突然倒戈，不几天工夫，桂系全部遗退，战事迅速结束。冯玉祥的算盘全部落空，又由于他曾答应过助蒋，因此不得不通电讨伐李宗仁，命韩复榘迅速进兵。此时蒋介石已不需要冯，他很快到了武汉，电韩复榘停止进兵，并召韩往见。蒋为什么又要召韩往见呢？韩仅仅是冯手下的一个师长罢了。原来，蒋介石想在韩复榘身上重演李明瑞刚刚演过的戏！这要比他直接出头露面压制胁迫冯玉祥更隐蔽更有效。
韩复榘到武汉后，蒋介石和夫人宋美龄亲自招待，赞扬韩战功卓著，嘉奖备至，口称“向方”（韩复榘的字）而不直呼其名，并说：“现在北伐成功，不应再有内战，应当从事和平建设，希望向方兄在这方面努力！”平时韩见到冯时，总是小心谨慎，生怕碰钉子，冯对将领们一直以家长自居，非常严肃。现在蒋介石却如此的体贴、热情，令韩复榘受宠若惊，既感激又高兴，对比之下，觉得还是蒋好。同时，蒋又使何键与韩同住一处，由何作蒋韩之间的联络人。临别时，蒋又馈赠１０万元，用尽多种方法拉拢、收买。从此，蒋、韩之间就暗中发生了日益密切的关系，令冯防不胜防。
蒋介石击败李宗仁后，认为肘腋之患已除，又谓冯军并未参加战斗，完全不肯履行以前许诺的条件，而且对冯更加虎视眈眈，甚至陕甘大旱的赈粮，也被扣于徐州和保定。在如此高压之下，冯玉祥决计部署倒蒋军事。这时，阎锡山也跑出来亮相了。他看到冯蒋交恶，战事即将爆发，自己正好从中取利，便派兵沿黄河北岸布防，待机袭击冯玉祥。冯得报后，恐受腹背夹攻，于是令山东、河南驻军西撤，希望等队伍撤退摆好后，逼迫阎锡山表明态度，一同反蒋，如阎不肯从命，就先打山西，再打蒋介石。但这次他的计划又落空了，而且更惨，因为韩复榘这会儿不仅反对他，更要倒他的戈。
１９２９年５月１９日，冯玉祥在华阴召集他的将领们开会，述说了蒋的四大罪状，并令韩复榘退驻陕州以利部署。韩复榘在会上毫无表示，会后马上驰赴陕州。这时他以前带的基本部队第二十师正驻在陕州，师长刚由石敬亭换为李兴中，但旅长以下的军官大都未动，仍然是韩的亲信。韩召集旧部密议投蒋，煽动他们说冯玉祥要把队伍西撤，其用意是让大家再到陕甘去挨饿，何况现在陕甘正是大旱，这些部队到那里还能活吗？紧接着，他又从蒋赏给他的１０万元中抽出一部分分给他的亲信们。而后，他又令旅长孙桐轩为师长，带部队全部向东开。李兴中被胁迫到洛阳西，因不肯随韩投蒋，和冯的一些旧部一起被软禁，几遭杀害。
５月２２日，韩复榘即在洛阳发出通电，声明维持和平，拥护中央。２３日又给蒋介石他这位新主子发出两电，直接表示拥蒋。蒋见电后惊喜若狂，他没想到这么快韩便行动了，当日，蒋便复电嘉奖韩，并令他保持河南省地盘，仍任河南省政府主席，应许所有驻陕甘部队概归韩指挥，再送现款５００万元作为犒赏。同时，蒋还将列名于韩的通电的石友三委派为讨逆军第十三路总指挥，并送３００万元，马鸿逵为第十五路总指挥，也送３００万元。有了韩、石、马的归附，５月２５日，他以南京政府的名义，明令讨伐冯玉祥。两兄弟正式开战了。
韩、石的叛变，使冯玉祥措手不及。冯军集团的声威也大落，只好退回潼关，闭关自守，此时正值陕甘大旱，蒋介石又严密封锁对陕甘军队的军饷，因此冯军在此连自守也不容易。威震一时的冯军集团开始走下坡路了，冯玉祥本人也开始丧失信心，萎靡不振。他一扶又扶的蒋介石要压制他，他亲手选拔培养起来的部将在他困难之时又叛变了他，这怎能不使他感到绝望？
阎锡山见有机可乘，马上跳出来，电冯玉祥，劝他出洋，并表示愿一同出国游历，真不知他怎么想出如此主意。但冯玉祥此时感觉特别不好，对阎锡山的劝告竟也觉可接受。于是他一面通电下野，一面派邓哲熙、曹浩森往太原见阎锡山，妄图约阎共同反蒋。几经周折，最后在唐生智的总参议李书城（正好到山西约阎反蒋）的劝说下，冯玉祥决定亲赴太原。６月，冯同妻女及李书城一起渡河到山西。
阎锡山见冯玉祥应邀到晋，喜出望外，殷勤招待，借此挟冯及冯军集团以自重，身价大增。蒋介石见冯玉祥自动跳到阎锡山的布袋中，也觉此时阎的砝码增重了不少。于是立即派阎锡山为山西宣慰使兼办军事善后事宜，并亲到北平，邀阎前往面谈，贿以２０００万元，倍加拉拢。蒋、阎二人又臭味相投，联合倒冯。
冯玉祥初到山西时，阎锡山虚与周旋，谈及反蒋办法，还准备了一些出国的服装、用具等，摆出一副真要出洋的样子。但阎锡山自从到北平见蒋以后，却既不谈出洋，也不谈反蒋，甚至避而不见冯。其后更将冯移往建安村中，以阎的卫队师驻扎左右，由师长杜春沂把冯监视和软禁起来，不许冯出村，继则更将通行的汽车路挖断。此时陪同的李书城也毫无办法，只有陪冯玉祥同住建安村一块儿“坐监”！冯玉祥万万没有想到，他的联阎反蒋和出洋的梦想顿时化成一缕青烟随风散去了。
冯军集团对阎锡山骗冯入晋且将之软禁起来以与蒋介石讨价还价的行径自是愤恨不已，但无奈他们在经济上正处于困难期，陕甘又大旱，其状况极为窘迫。因此他们自行恢复了与蒋方的给养补充，冯、蒋集团之间的形势有所缓和。见到冯部自动找上门来，蒋又起分化收买之心，他先后派于右任、贺耀祖到西安宣慰。
看到冯军集团与蒋介石又往来密切后，阎锡山大为恐慌，因为如果冯军集团与蒋继续往来，那他在这里软禁挟持冯玉祥就没有多大价值了。为了不使这桩大买卖就此失败，更害怕蒋冯联合起来对付他，１９２９年八月十五那天，阎锡山一改以前避而不见冯的常态，亲自到建安村来找冯玉祥，答应冯联合反蒋，叫冯玉祥命令所属部队先行发动，冯玉祥信以为真，果真让部将出兵讨蒋。１０月１０日，由宋哲元为代理总司令，以孙良诚为前敌总指挥，宋、刘（郁芬）、石（敬亭）发出讨蒋通电，并出兵潼关。出兵后，冯军连战连捷，进展很快，可是阎锡山却始终未表示要反蒋，更没有出动队伍，反而促使唐生智帮助蒋介石打宋哲元。
冯玉祥又一次上当受骗，起初冯被阎软禁时，唐生智曾派延国符到西安游说宋哲元，劝宋拥戴唐为领袖以共同倒蒋，被宋拒绝。当时延国符的哥哥延增祺在山西任职，阎锡山又通过延增祺告诉唐生智，说冯玉祥的部下桀骜不驯，必须先给予重创，然后才能使其就范。这时，唐生智也正因为冯部拒不拥护他而想加以报复，于是便与蒋军合击宋哲元。宋哲元虽为代理总司令，但由于实力不及孙良诚，因此不敢以代总司令自居，也亲赴前线。终因二人不和，又遭阎锡山的欺骗和唐生智的夹击，以致逐渐陷于孤立和被动。
此时，孙良诚的一部被蒋军包围，撤不下来，孙派人佯与蒋军接洽投诚，表示愿迫宋哲元投降，欲借此诱敌深入，聚而歼之。不幸的是，孙作出此决定并未与宋商量。宋哲元得到情报后，以为孙真的要投降，即令部队向潼关仓促撤退，官兵们以为前方失利，仓皇退走，致使全线混乱，孙部损失尤为惨重。
阎锡山见此计成功，促使唐生智反蒋，自己从中取利，坐上了南京政府军职的第二把交椅，成为蒋介石的副手，任陆海空军副总司令。
冯玉祥不甘心阎锡山如此放肆地欺骗和玩弄他。因此，他命令当时住在天津的鹿钟麟回陕负责。鹿钟麟取道大同，秘密赴建安村与冯面商后，潜赴潼关，代理总司令职务。
冯玉祥曾叮嘱鹿钟麟迅速采取措施对付阎锡山。鹿抵陕后，冯玉祥又加电密函于鹿、宋等：“你们一定要设法对付阎，能够联合韩复榘、石友三一同动作更好，千万勿以我为念。而且只有你们这样做，我才能够有办法。”根据冯玉祥的这个指示，鹿钟麟等提出：“拥护中央，开发西北”的口号，派人与蒋方联系，企图联蒋倒阎。鹿对蒋的代表说：“蒋介石是我们的敌人，阎锡山是我们历史上的仇人，敌可化为友，仇则不共戴天！”蒋方代表则表示：“只要西北军一经表明打阎的态度，马上可以获得中央的接济。”双方几乎是一拍即合，迅速达成共识。
与南京拉上关系后，鹿钟麟便开始计划与韩复榘、石友三联合起来攻打山西。１９２９年冬，唐生智、石友三联合反蒋被阎锡山出卖，其后阎还曾一度到郑州会晤韩复榘，差一点被韩扣留。韩复榘在复鹿钟麟电文中表示：阎锡山好用权诈，搬弄是非，如不把他打倒，国家就不会太平。鹿回电对韩大加赞扬，并言：“我弟（韩复榘）如举兵入晋，兄愿听弟指挥。”石友三当时驻在河南北部，主要靠韩复榘接济，正渴望取得一个地盘，因此对此事更为积极，以前分道扬镳的兄弟此次又欲联手置阎锡山于死地。
此时的阎锡山可谓四面受敌，蒋介石在北平和阎锡山见面后，曾一度密召张学良会晤，张到北平后行踪诡秘，与蒋会谈后，即匆匆返沈阳，这件事早已是阎锡山的一个心病。不仅如此，蒋介石的国民党中央宣传部更通电各地党部说：“阎锡山阴险诈伪，不顾信义，所辖兵力，又极薄弱，自知捣乱之不足，反叛之事难成，于是不惜骗出冯玉祥，以增厚其反动声势，阎自谓与冯相偕出洋，不过遮掩听闻而已。”蒋介石的这一通电，确也揭露出了阎锡山的阴险用心，表明了蒋阎二人矛盾逐渐表面化。
擅长左右捣鼓的阎锡山，这时却要作出一个或左或右的决定来。而形势愈逼愈紧，与蒋的矛盾，越来越明朗，加以各方反蒋的代表当时都在太原活动，表示对他一致拥护，他若再迟迟不表示反蒋态度，一旦冯军各部联合起来向山西进攻，他将陷于十分不利的地步。因此，阎锡山决定联冯反蒋。
１９３０年２月２８日，阎锡山亲自到建安村访问冯玉祥，并将他迎接到太原。到太原后，冯玉祥还表示只要阎锡山肯领导反蒋，自己唯命是听，愿拥阎为全国军政领袖，自己则早日回陕主持军事。但阎锡山自觉过去对冯欺讹太甚，恐冯难忘前嫌，犹豫不决，不敢放冯回陕。几经交涉，双方议定留薛笃弼及冯夫人为人质，阎锡山才允许冯玉祥离开山西。３月１０日冯南下渡河回陕，在冯临行前，阎锡山装出一副特别诚恳的样子，并且痛哭流涕。不仅“大哥”叫个不停，而且立即送现款５０万元，花筒手提机关枪２００支，面粉２０００袋。冯玉祥此时唯一的希望，就是能迅速回到军中，实现讨蒋，因此对阎如此这般的表白也不计较，并慨然表示，对以往的事决不存芥蒂，此后一心一意共同倒蒋，只是他的妻子和薛笃弼仍羁留在太原。
冯玉祥的这次历险就此结束了，他的希冀出洋，再回来振臂一呼以倒蒋的愿望终于变成了在阎锡山那里被软禁了几个月，又归阎领导以反蒋的现实，虽然过程变化很大，但结局仍是他所希望的。
中原大战，汪、冯、阎三派联合反蒋，但因有张学良拥蒋，蒋获胜利。阎锡山退避三舍，汪精卫抬脚走人，纵横一时的冯军集团烟消云散，冯玉祥成了光杆司令，只得下野。
自“北伐”完成后，蒋、桂、冯、阎四大军事集团互相攻来攻去，彼此间关系瞬息万变，没有绝对的联合或敌对，但争斗的主要格局是攻蒋。经过一阵零攻碎打之后，１９３０年５月，桂、冯、阎三家结成一体，与蒋展开激战，历史上有名的中原大战正式开始。
冯从山西回到陕西后，着手准备军事部署，寻求主持政治反蒋的人物。因为经过北京政变的教训，他体会到没有政治主张就会吃亏。可自己又缺乏一套政治组织，还是非利用国民党这块招牌不可。
国民党的各派中，因为在冯部工作过的郭春涛和黄少谷都是改组派，他们竭力为汪精卫拉拢冯玉祥，因为汪本人没有什么军事力量。同时，汪以反对蒋介石个人独裁为号召，先后发表过怎样扶植民主势力、怎样树立民主政治等文章，陈公博也极力鼓吹所谓农工小市民同盟为国民党的阶级基础。
汪、陈的这些表现，都引起了冯的好感，冯把汪精卫看成是当时主张民主政治，反对个人独裁，尤其是反对蒋介石的唯一政治领袖。阎锡山也想利用汪来对付蒋，至于汪精卫以及改组派则都是想借这个机会重新登上政治舞台，三方有合作的需求和愿望。
但由于阎锡山的作祟，使三方议定的扩大会议成立会迟迟不能召开。后几经周折，直到７月１３日，才在北平召开国民党扩大会议成立会。７月２３日，汪精卫抵达北平。８月７日，在北平中南海怀仁堂举行了国民党扩大会议第一次正式会议，通过了扩大会议成立宣言、组织大纲等，议定了各委员会的人选：阎锡山为国民政府主席，并任中华民国陆海空军总司令，冯玉祥、李宗仁为副总司令，刘骥为总参谋长，汪精卫为中央常务委员会的委员之一。这次扩大会议，形成了汪主党、阎主政、冯主军的格局，一次反蒋的大联合正式结成。但这些人大概都没有想到，以三比一，他们还是败得很惨，尤其是冯玉祥，更没有想到经过此次大战，自己便从此与带兵基本上无缘了。
早在冯未从山西归来时，冯、阎与桂系及其他各杂牌军的代表们共同会议，一致推阎锡山为陆海空总司令，冯玉祥、李宗仁为副总司令。回到潼关后，冯玉祥即着手组织副总司令部，部署军事行动，他将后方各省军队全部调出共约２６万余人，兵分７路，拟与蒋介石作破釜沉舟的决战。
经过阎、冯的一番部署，５月１１日开始，双方开始大规模接触。起初，蒋军形势危险，甚至全线动摇。但阎锡山虽为总司令，可他厌战自保，不予配合前线的冯军，甚至对冯军的补给也开始克扣拖延，以至于到了百呼不得一应的程度。如郑大章的骑兵集团，驰骋于蒋军后方，无线电讯的联络特别重要，却始终领不到一架无线电台。
对晋军，阎锡山则是千方百计地满足他们的需要，而对原属冯部的石友三，阎锡山却是处处掣肘，引起了冯军官兵对晋军的嫉愤，认为替阎老西卖命太不值。而蒋介石呢？他见硬拼不行，就来软的，对冯阎军只要有机会，便大肆收买，而且蒋看中了独霸东北的张学良。阎、冯也曾拉拢过张，但未有结果，张学良有意援蒋，当时的局势是双方处于对峙，力量基本均等，只要张学良倒向哪边，哪边就肯定会胜。
蒋介石很幸运，９月１８日，张学良通电拥蒋，并派十几万东北军入关援蒋作战。大混战的局势迅速急转直下：阎锡山态度消沉，认为“仗是不能打了！退到山西再说”，并自作主张于１８日发出“退避三舍”的电报（是１８日发出倒填为１４日）。汪精卫更是沉不住气，北平的扩大会议已作鸟兽散。冯玉祥虽想坚持到底，继续作战，但无奈前线的士气已经涣散，中原大混战的局面，仅靠他一个人的力量是无法挽回的。不仅无法挽回败局，而且最后瓦解的厄运也就要降临到冯军头上了。
自韩复榘、石友三叛变，冯玉祥到山西被羁留后，冯的部将们便十分痛恨阎锡山，因此才发生了联络韩、石与蒋拉拢攻晋的事。联蒋攻晋正酝酿就绪时，冯玉祥回到潼关，讲述一大堆关于联阎倒蒋的办法。真是一个向东，一个向西，这令部将们十分不解，思想还无法一下子转过弯来。
冯玉祥到潼关的第二天召集师长以上军官开会讨论联阎讨蒋的办法时，席间都默不作声。但冯玉祥的决心很大，而且与各方联合倒蒋的局势已成，再加上冯在部队中家长制的作风，他的将领们无奈，只勉强跟着干。可在心里，他们一开始就有抵触情绪，尤其是对阎锡山没有信心，认为冯玉祥肯定又会受骗。他们认为冯玉祥只会打仗，对政治却是外行，而阎锡山却好像是个钱铺老板，处处像放高利贷一样计算，不能成大事。
冯阎合作，即使在军事上取得胜利，政治上也没有办法。但冯玉祥却非常乐观，他对幕僚这样说起他的打算：
二、三、四三个集团军对付蒋一个集团军，其他受蒋排斥的部队也倾向于我们，在兵力上占有压倒的优势；政治上，汪精卫，甚至西山会议派都来与我们合作，张学良的表示也很好，足见我们得道多助，蒋介石是失道寡助，胜利一定属于我们！
他只从军事上来看，把与阎锡山的合作估计过高，相信阎这一次非干不可，合作是真诚的。刚被阎锡山骗扣了几个月的事实，已被他置之脑后了，阎锡山的几滴眼泪便将一切都冲得干干净净，甚至包括仍被扣留在山西的冯夫人和薛笃弼。靠着这种信念，冯玉祥便不顾一切，把后方军队全部孤注一掷。他调甘、青、宁部队东下时，孙连仲欲留一部分控制西北局面，也为冯玉祥所不允，他在给孙的电报中说：“胜则到江南组织政府，败则不惜同归于尽！”做好了壮士一去不复返的准备，而不幸的是，他真言中了，冯军集团就此一去，便再也没有回返。
战争开始时，由于各方面反蒋声浪甚高，军事的阵容也很强大，冯军各将领在大势所趋和冯玉祥的严厉号令下，自然没有瞻前顾后和徘徊的余地。同时，他们也未尝不想打出几省地盘，作为西北贫苦区域的补偿，所以依然表现出顽强勇敢的精神和艰苦作战的作风。
但好景不长，由于冯军给养补充不足，经过几次战斗后，冯晋两军之间矛盾逐渐加深，各自保存实力的军阀思想越发加剧了。眼看蒋军由劣势转为优势，讨蒋军由主动变为被动，他们的脑子里越来越感到没有前途，都在考虑退路，既不愿再回到西北去吃苦，又不甘心为阎老西所出卖，怎么办？自找出路：庞炳勋、孙殿英、刘春荣等部纷纷自由行动，跟随晋军，撤到黄河以北；石友三则通电拥护张学良，这时蒋介石又派人四处活动，多方利诱，冯军再也支撑不住了。
９月２８日，吉鸿昌向冯玉祥表示要做苦肉计中的黄盖而投降了蒋介石；接着梁冠英也投蒋，防守许昌的焦文典也不听指挥了，洛阳的葛运隆也接受了改编。张维玺、冯治安等部在新郑一带陷于蒋军的重重包围之中。无奈之中，１０月４日，汪、阎促冯共同发表了实行停战的通电。５日，冯玉祥终于山穷水尽，率其总部人员退到黄河以北的新乡。兵败如山倒，不几天，潼关、西安被占，葛运隆师接受了蒋的改编，在新郑的张维玺等部也放下武器，接受了蒋的劝降。
１０月８日，冯玉祥到石家庄与阎锡山会晤，两人表示下野，决定阎锡山将军队政务交与徐永昌，冯玉祥将军队交与鹿钟麟，由鹿钟麟邀请与西北军有关系的马福祥、张之江到河南洽商收拾冯军的善后办法。鹿提出三个条件，即冯下野外游，希能予以便利；军队由鹿负责改编为１０个师，以河南西部及陕甘为驻防区域；拨给编遣费３００万元。但此时的蒋介石，看到冯玉祥败局已定，因此更不愿冯军集团存在。在蒋的逼迫下，鹿钟麟到天津作了寓公；孙连仲接受了蒋的改编，冯的卫队旅长季振同也随孙而去；张自忠、刘汝明、赵登禹等残部由张学良改编为第二十九军，宋哲元为军长。
自此，冯玉祥离开了他２０年来苦心经营的军队，移居到山西汾阳的峪道河，从１９１２年开始发端的冯玉祥军事集团至此全部瓦解。威震一时的冯军集团，就这样在历史上消失了。
