袁世凯死后，段祺瑞实为北洋军阀的老大，在与冯国璋的争斗中，有胜有败，冯成了代理大总统，但最终还是段胜利了。然而小字辈吴佩孚公开发难，段又生气了。
段祺瑞和冯国璋是老同学，又都是小站宿将，与王士珍并称为“北洋三杰”。“北洋三杰”各有称呼，其中王士珍为龙，段祺瑞为虎，冯国璋为狗。
冯国璋（右）与段祺瑞
张勋复辟失败后，黎元洪自然下台，由冯国璋代理大总统。从心底说，让冯国璋做总统也不是段祺瑞所希望的。段祺瑞与冯国璋在袁世凯时代就开始互争高低，袁世凯死后，两人一北一南，相互对峙。在段祺瑞执政期间，冯国璋经常在南京唱一些不合时宜的调子，使段祺瑞很不痛快。然而，段祺瑞又不能不让冯国璋当总统，其一，冯本来就是副总统；其二，段祺瑞有个野心勃勃的计划，就是武力统一。为了这一目的，他必须使北洋派团结起来，必须得到冯国璋的支持，也就不得不把总统这块肉送给了冯国璋。
段祺瑞的确不同常人，他和冯国璋也大不相同。譬如说，冯国璋嗜财，段祺瑞却不爱财，曾有一次，齐燮元进京送给他二十几件珍玩，他原璧奉还。张作霖送来一大堆东北特产，段祺瑞不能不顾他的面子，破例收下两条江鱼，其余退还。惟一照单全收的一次是冯玉祥送的大南瓜，没有退回。
为了控制冯国璋，段祺瑞请冯国璋进京代行总统职权。冯国璋也不是好蒙骗的，他以南方不稳为由婉言拒绝，同时进一步巩固以南京为中心的东南大本营，以与段祺瑞对抗。此后，又请调亲信部队入京担任总统府保卫，段祺瑞也慷慨答应。冯国璋做好各方面的安排后，便上了北京。
过去总统是南方人，总理是北方人，所以总搞不好，现在总统、总理都是北方的了，事情果然好办了。８月１４日，对德宣战案以总统令顺利发布。然而，好景不长，冯、段之间的分歧日益明显，虎犬之间开始斗法。
问题就出在段祺瑞的武力统一上，段祺瑞主张对西南用兵，实行武力统一，冯国璋断然反对。
袁世凯死后，北洋系统分化为三块：以段祺瑞为首的皖系，以冯国璋为首的直系和以张作霖为首的奉系。张作霖远在东北，一时与中原无争，而冯、段二人为了谁执牛耳互相争斗，互不相让。段祺瑞的武力统一是有其打算的，想借机扩大皖系力量，既消灭南方异己，又打击直系势力。冯国璋明白这点，自然反对对西南动用武力。
正当总统和总理陷入僵局之际，“长江三督”李纯、陈光远、王占元突然通电主和，掀起了驱段倒阁的先声，接着，靠近直系的湘南各军总司令王汝贤、副司令范国璋也联名通电停战，给段祺瑞杀了个回马枪！段祺瑞腹背受敌，只得暂避风头，１９１７年１１月１５日提出辞呈。
段祺瑞以退为进，冯国璋的日子也不好过。首先，他居然找不着一个能继任段祺瑞的人。其次，直隶督军曹锟突然摇身一变，成为主战的急先锋。曹锟态度骤变据说是由于徐树铮许诺给他一个看得见，摸不着的副总统职位。事情到了这个地步，冯国璋只得被迫下了对西南的讨伐令。一比一，段祺瑞和冯国璋前两个回合打了个平手。
然而，讨伐令刚发布１０天，冯国璋又宣布停战。因为，长江三督和冯玉祥坚决反对“讨伐”，并且不让南下的部队通过防区，如果硬要通过，北洋内部就会大动干戈。何况，布贩子出身的曹锟这时又打起了冯国璋的牌，表示不反对停战。在北洋内部主战和主和两派互相争吵之际，南方提出了五个停战条件，首要的一条是召集旧国会。这样，冯国璋又陷入了困境，和又和不了，战又是死路，左右为难。冯国璋决定三十六计，走为上，溜回南京是最好的办法。
１９１８年１月２６日晚，冯国璋以南下巡阅军队为由，乘专车离开天津。殊不知段祺瑞已经断了他的退路，倪嗣冲在蚌埠以保护安全为由截住了冯国璋，冯国璋只好调头回北京。在段祺瑞的强大压力下，１月３０日，冯国璋被迫再次下达了对西南的讨伐令。这时在湖南前线，北洋军连连取得胜利，冯国璋只好通电辞职。在冯国璋辞职的第三天，即３月９日，内阁总理王士珍挂冠而走，避往天津。
既然冯国璋已无能为力，那么何不让他再做几天总统？于是在段祺瑞的授意下，各省主战派纷纷来电挽留冯国璋，同时要求段祺瑞出山。３月２３日，段祺瑞出山就任内阁总理。这位下野四个月零几天的北洋之虎终于压倒了北洋之狗，再次荣登总理宝座，威加海内，势力达到极盛。４月２０日段祺瑞南下犒师，亲临汉口，规定总理车队经过时，临街商铺、居民住宅一律关门闭窗。一家外国报纸说：“这是民国以来从未有过的事情”，比大清国的钦差要威风得多！
段祺瑞重新上台，冯国璋已无用处，于是决定“合法驱冯”。冯国璋的总统任期是１０月１０日届满，到时通过合法的手段把他选掉。最终，冯国璋让位于徐世昌，回到直隶河间老家，从此不问政事。
１９１９年１２月２８日，冯国璋在北京病逝，段祺瑞赶到冯府，悼念老友，痛哭失声。他深有感触地对靳云鹏说：“你看看我和华甫，这些年闹来闹去，两败俱伤，谁也没能得到好处，想想实在惭愧。”在冯死前，两人已经和好如初，经常在一起把盏小酌，痛感北洋内部派别林立，力量分散。
其实，在冯国璋下台之前，段祺瑞已经辞职下野。这次辞职，逼迫他的不是别人，乃是小字辈吴佩孚。
吴佩孚是曹锟手下的一号大将，毕业于保定陆军速成学堂，属于段祺瑞的学生。在段祺瑞讨伐西南时，吴佩孚是曹锟率领第一路的先锋。１９１８年２月晋升为第三师师长，第三师前身乃是赫赫有名的北洋第三镇。由于入湘后连战连捷，吴佩孚由无名小卒一跃成为直系的“闻人”。吴佩孚此人多谋善断，他劝曹锟在段祺瑞和冯国璋之间大耍两面手法，先是主战，而后又倒戈一击，主和，使段祺瑞的整个部署全被打乱，雪上加霜，段祺瑞向日本秘密借款的事又被揭露出来，国内群情哗然，西方列强纷纷出面施压。为了摆脱窘境，段祺瑞再次以退为进，通电下野。
段祺瑞辞了职，徐世昌当了总统，然而内阁全是段祺瑞的人，段祺瑞依然是一手遮天，把持着北京政府。
冯国璋死后，曹锟、吴佩孚成为直系领袖与段祺瑞对抗，尤其是吴佩孚，宛然雏凤清于老凤声的姿态，不甘段祺瑞把持中央政权，与张作霖秘密联络，决定反皖倒段。
１９２０年７月，酝酿已久的直皖战争爆发了。战争开始前，段祺瑞充满信心，他认为张作霖向来与曹锟不和，也曾当面保证严守中立，这样，自己已无后患之忧。剩下直、皖单独较量，皖军无论在数量、质量上都高出一筹，段祺瑞自以为胜券在握。
然而事情大出段祺瑞意料，首先，张作霖根本不是严守中立，其次，前线皖军虽然初战告捷，但不久西路皖军全线溃败，段祺瑞失败已成定局。
７月１９日，段公馆一片愁云，左右随从力劝段祺瑞离开北京，段祺瑞暴跳如雷，喊道：“要走你们走！我不走，我倒要看看他们能把我怎么样！”
曹锟、吴佩孚自然不敢怎么样，曹锟和张作霖还派人去段府慰问，吴佩孚也亲自登门，口口声声以“老帅”相称。
段祺瑞再次出山，任中华民国总执政。孙中山病逝，北京爆发学潮，段大开杀戒，在执政府门前杀人无数，制造了三一八惨案，局面极其混乱，万般无奈之下，段氏宣布下野。
直、奉联合反皖倒段之后，为了各自的利益，又发生了激烈冲突。１９２１年４月１４日，张作霖挥师入关，第一次直奉战争爆发，结果奉军大败，连张学良也挂了彩，不得不退到关外。
吴佩孚在战胜了皖系和奉系后，控制了北京政权，也重弹“武力统一”的老调，从而引起了西南军阀的不满。这样，直系成为众矢之的。１９２１年，为了打倒直系军阀，孙中山联络段祺瑞、张作霖形成“反直三角同盟”。
曹锟和吴佩孚也意识到危机，决定拉拢段祺瑞，瓦解三角同盟。他们不仅撤销了对徐树铮及安福系要人的通缉令，而且直接派人拜谒段祺瑞，表示负荆请罪。１９２４年３月１３日，段祺瑞六十寿辰，在曹锟、吴佩孚的发动下，直系将领不顾段祺瑞公开拒绝祝寿，蜂拥而至，献礼祝贺。
１９２４年９月４日，张作霖调集东三省的所有兵力２０余万，分三路大军入关，第二次直奉战争爆发。这次战争在北洋军的内战史上是空前的，双方出动的兵力约达５０余万。战斗一开始，直系便处于劣势，在这紧要关头，直系第三军指挥冯玉祥突然倒戈，发动北京政变，囚禁贿选总统曹锟，赶清废帝溥仪出紫禁城，给吴佩孚以致命打击。
１９２４年天津会议，冯玉祥、张作霖、段祺瑞、卢永祥、吴光新
在吴佩孚处于险境之际，段祺瑞以第三师老师长身份送了一封信给吴佩孚，劝他“速离去，否则被擒耳”。当时有人劝吴佩孚避往租界，以引起外国干涉。段祺瑞说：“你是中国最优秀的军人，为什么要惹出国际问题呢？我看你先休息几天吧！”吴佩孚听了连连说道：“是，老帅，我遵命。”随后由塘沽乘船逃走。段祺瑞的部下幸灾乐祸地说：“老头儿眼看吴小鬼掉在井里头了，小辫提一提，指给他一条明路。”
直系大败后，段祺瑞出山的时机又到了。１１月１０日，冯玉祥、张作霖、段祺瑞在天津段公馆召开了著名的天津会议，决定推举段祺瑞为中华民国总执政，该职集总统、总理职务于一身。１９２４年１１月２２日，段祺瑞在卫队的保护下抵达北京，２４日，他在铁狮子胡同陆军部宣誓就任中华民国临时总执政。这样，段祺瑞在任国务总理三上三下之后，又一次成为北京政府的最高领导者，这也是他一生中最显赫的职位！
执政府建立后，张作霖、冯玉祥准备继续南下，扫清直系势力。但段祺瑞坚决反对，他看得很清楚，张、冯二人想借扫清直系势力之名，抢夺地盘，扩大自己的势力，于是说：“穷寇莫追，不如就此罢兵。”张、冯也就无可奈何，收起了南下的打算。
张作霖提出召开“六巨头”会议来进行权力的再分配。所谓“六巨头”指孙中山、段祺瑞、张作霖、冯玉祥、卢永祥、唐继尧。段祺瑞则主张召开一次全国性的善后会议，参加人员只限于：有大功劳于国家者；讨伐贿选及制止内乱的各军领袖；各省区及蒙、藏、青海军民长官；有特殊之学识、资望、经验者，由执政聘请或委派。
这时，孙中山应冯玉祥、段祺瑞之邀已转道日本抵达天津。孙中山主张召开国民大会解决中国问题，认为善后会议只是一个代表军阀官僚利益的会议。１月３０日，在孙中山的主持下，国民党正式做出了不参加善后会议的决定。１月３１日，孙中山带病入京。在京期间，孙中山与李大钊等积极联络，发起召开了国民会议促进会全国代表大会，共同抵制善后会议。不幸的是，３月１２日，孙中山溘然长逝。
噩耗传来，举国悲痛，北京政府也明令举行国葬。段祺瑞手下也多次劝段祺瑞出殡之日务必亲往哀悼，以缓解国民党方面的感情，段祺瑞表示要亲自到场进行主祭。谁知临到那一天，段祺瑞却以脚肿为由改变了主意，只是派代表前往。当时北京一家报纸曾讽刺说：“难道偌大的北京城，就找不到一双合适的靴子吗？”实际情况是这样的：安福系在段祺瑞面前撒谎说天安门前有可疑人物，欲对段祺瑞不利，段祺瑞于是临时改变了主意。
这时的段祺瑞如同坐在火山口上，中国人民反帝反封建反军阀的运动已进入高潮，这座火山随时都可能爆发。１９２６年初，冯玉祥和张作霖之间失和，又发生战争。３月初，张宗昌部在海军的配合下，从大沽口登陆，进逼天津。国民军鹿钟麟、孙岳亲赴前线督战，好不容易夺回失地。为了防止敌军从海上卷土重来，国民军封锁了大沽口，严禁任何船只出入，日本驱逐舰却公然向炮台守军开炮，国民军被迫还击，双方互有伤亡。事件发生后，签订辛丑条约的八国公使居然联合向北京政府发出“最后通牒”。
帝国主义的武装干涉和“最后通牒”再次激怒了中国人民。自３月１３日起，北京又爆发了大规模的学潮。
３月１８日，北京大学、高等师范学堂等十几所高等、中专学校学生，以及一部分工人群众，共约两千余人，在天安门前举行抗议集会。会后沿着东长安街、东单牌楼、米市大街、东四牌楼，然后进入铁狮子胡同门口，在执政府门前广场列队请愿，市民也赶来支持学生们的爱国行动。
执政府的卫队如临大敌，全副武装的士兵一层一层地围住大门。学生代表要求见执政段祺瑞，卫兵回答段祺瑞生病了，不在这里。学生代表又要求国务总理贾德耀接见，也被拒绝。正当群情激奋之际，执政府门楼的窗户里突然响起了几声清脆的枪声，示威群众还没弄清怎么回事，只见前排执木棍的士兵忽然向两边闪开，后排持枪士兵蜂拥而上，顿时枪声大作。
这次大惨案造成了４０余人死亡，１５０余人受伤。虽然到底是谁下令开枪至今仍不为所知，或许永远是个谜，但执政府的罪责难逃，段祺瑞的罪责难逃！这一天，１９２６年３月１８日，被鲁迅称为“民国以来最黑暗的一天”。
“三·一八”惨案发生了，执政府已经丧尽民心，段祺瑞却不愿下台。３月下旬，冯玉祥因几面受敌，准备下令国民军放弃京津，向西北退却。鹿钟麟从北京撤退前，曾计划武装劫持段祺瑞。但段祺瑞门生故旧满天下，鹿钟麟的行动还没开始，消息就走漏了出去。４月９日，段祺瑞接到曾毓隽的条子，上面写着：“今夜鹿钟麟恐有举动，要发生事变。”
接着，段祺瑞的侄子段宏纲也从鹿钟麟手下的一位师长那里得到消息。大家都感到事情不妙，劝段祺瑞离家躲避。段祺瑞大发雷霆：“鹿钟麟他敢！他敢这样胡闹吗！我不走，来就同他打！”
晚上１０时许，段宏纲打电话给国务总理贾德耀，发现电话线已被切断。事情紧迫，段祺瑞于是离家去东四八条胡同他的副官崔子良家中躲避。
国民军撤出北京后，局势更加混乱。段祺瑞已经无能为力，于４月２０通电下野，回到天津。
段祺瑞生性不爱敛财，辞职后没有什么积蓄，佣人也多遣散，后日本人拉拢段祺瑞，被断然拒绝。１９３３年１月，蒋介石迎段到南京居住，后病逝于上海。
段祺瑞下野后，住在日租界须磨街魏宗翰的公馆。段祺瑞生性不爱财，因而不敛财，没有什么家底，连合肥老家也无房产和地产，北京的公馆还是当年袁世凯赠送给他的。
段祺瑞家规很严，夫人和姨太太都不准干预公事。有一位姨太太想替一个老妈子的亲戚谋个差使，段祺瑞立即气歪了鼻子，厉声喝道：“好啊！你们要卖官怎么着？”合肥老家的人来京谋差使，他也不过招待他们住一段日子，四处玩，再给一些钱打发他们回去，胞弟段祺甫来京求大哥给找个官做，段祺瑞说：“你哪适合做官呢？给你一些钱，你还是回去做份买卖吧。”
为了节省开支，段祺瑞一改从不管家的习惯，亲自过目每日的账目。公馆规模也缩小了，厨房里只剩八九个人，当差打杂的加上看门的，不过十来个人，原来太太小姐们每人屋里三四个老妈子也压缩到一两个。
晚年段祺瑞
原配夫人过世后，段祺瑞娶了袁世凯的养女张氏为继室，此外，他还有五位姨太太。大姨太病死于１９１４年，三姨太、四姨太先后被遣回家。
１９３０年２月，冯玉祥和阎锡山联合反蒋，日本人认为有机可乘，密谋策动“北洋派大同盟”，拥戴段祺瑞和吴佩孚为领袖，试图在华北制造混乱。在特务头子土肥原贤二的安排下，段祺瑞与溥仪在天津有过一次秘密会晤，但两人都很不愉快。事后有人问及，段祺瑞生气地说：“鄙人不才，忝为国家元首，这小子到今天还摆皇帝的臭架子，真是岂有此理！”
“九·一八”之后，日本扶持废帝溥仪在东北建立了伪满洲国，又企图利用段祺瑞的威望和影响，建立华北伪政权，这一动向引起了蒋介石的不安。自北伐以后，蒋介石就极力笼络段祺瑞。蒋介石还安排与段宏纲会晤，亲切地对段宏纲说：“我亦是保定陆军学堂学生，段先生是我的老师。我因公务繁忙，不能前往天津看望先生。”事后，蒋介石还派人送了两万元生活费给段祺瑞，以后又陆续送过几次。
１９３３年１月１９日，交通银行董事长钱永铭受蒋介石之托，持蒋氏亲笔信去见段祺瑞。蒋介石在信中恳请段祺瑞“南下颐养”，以便随时请教。这时传来日本要劫持段祺瑞的消息，段祺瑞于是决定接受蒋介石的邀请南下，他对钱永铭说：“我已老，不中用了，如介石认为我南下于国事有益，我可以随时就道。”
１月２１日凌晨，段祺瑞在吴光新、魏宗瀚、段宏纲的陪同下悄悄离开了天津。蒋介石对段祺瑞的到来十分重视，通令南京少将以上的军人过江到浦口车站迎接，他本人也亲往下关码头恭候。段祺瑞到达时，全副戎装的蒋介石立即迎上前敬礼，然后搀扶他下船。当晚，蒋介石设宴招待段祺瑞，南京的军政要员也都出席作陪。
１月２３日，段祺瑞在蒋介石、何应钦、孙科的陪同下，拜谒了中山陵，然后乘快车去了上海。
到了上海，段祺瑞住在法租界霞飞路１４８７号的一座公馆里，由蒋介石每月赠送一万元供作生活之用。段祺瑞在寓居期间每日下一局围棋，然后静坐诵经或阅读旧书。１９３４年春，段祺瑞由于胃溃疡引起胃部出血住院治疗。出院之后，由于年事已高，身体日益衰弱，医生和友人都劝他开荤以增加营养，但他执意不肯，回答说：“人可死，荤不可开。”
１９３６年１１月１日，段祺瑞因胃病又一次发作，出血不止，于次日晚在上海的医院去世，时年７２岁。１１月５日举行大殓，林森、居正、于右任、吴忠信、张治中均亲临吊唁。１２月７日，移灵北京，暂厝西山卧佛寺后殿。１９６３年移葬于香山附近万安公墓。
