蒋介石对白崇禧的弹劾
有一次，白的轿车开出去后，即发现后面跟着一辆吉普车，走了不多久，那辆吉普车抛了锚，白崇禧知道那是一辆盯梢的车，连忙命自己的司机停车，并派侍从人员去告诉那辆车上的人不要着急，慢慢修车，白崇禧自觉停车等他们。奉命监视的特工人员没料到被白崇禧看出了行藏，显得相当尴尬。还有一次，白崇禧跟一班朋友在一家咖啡店喝咖啡，临走时白将另外两桌客人的账也付了。白的朋友对此莫名其妙。白连忙解释说：我看出他们是监视我的人，这个客我应该请。后来这件事传闻开来，那些不速之客承认，那么多桌人中，确实只有这两桌人是有任务的，白崇禧能一眼看穿，不多不少，真不愧是小诸葛。
蒋介石虽然没有公开处罚白崇禧，却由湖北籍“国大代表”敲山震虎，在“设计委员会”会议上对白崇禧提出弹劾案，主要有两点：（1）军费方面，吞没中行黄金7万多两；吞没汉口中央银行库存370多万两白银。（2）军事责任方面，拥兵不救援徐州，不遵从统帅调兵命令，拥兵自卫。弹劾案要求“追究责任，以明是非，振纪纲而知复兴”。
对此弹劾，白崇禧非常恐惧。不过，蒋介石暂时还不想借此清算他，陈诚也为白崇禧开脱。
1954年“国民大会”一届二次会议上，旧案重提，并有40多名“国大代表”联名。白崇禧不得不再次以书面答复。最后，“国大”会议决定将此案保留，一场弹劾案才不了了之。
不久，曾任国民党中央宣传部副部长的潘公展在香港《新闻天地》刊登文章，提及当年白崇禧逼宫事。1959年蒋经国在台湾出版《危急存亡之秋》一书，将白崇禧逼宫案原原本本地披露了出来。这样一来，白崇禧再想辩护也不行了。逼宫案成了白崇禧晚年的最大心病，成了一个挥之不去的梦魇。想站出来辩护，真是百口莫辩，不出来辩护则又等于默认。白崇禧时刻担心蒋介石一怒之下，清算旧账，拿他开刀。
1952年10月，蒋介石在台湾召开国民党第七次全国代表大会，宣布国民党改造结束，组建中央委员会，同时设立“中央评议委员会”以安置“党国元老”，白崇禧并未能在这两个机构中占一席之地。当然，白崇禧也并不完全是平头百姓，他在台湾还挂着“总统府战略顾问委员会”副主任委员、“国大代表”、“中国回教协会理事长”的头衔，从事一些无关紧要的礼仪性活动。罢免“副总统”李宗仁的职务，就由他主持国民大会“处理”。
白崇禧在台湾的生活
白崇禧在台湾真正属意的一项职务是“中国回教协会理事长”。中国回教协会1938年成立于武昌，由白崇禧担任会长，次年改称理事长。以后这一职务一直由白担任。1955年约旦国王侯赛因访问台北，邀请白崇禧以“中国回教协会理事长”名义访问中东，蒋介石恐其一去不复返，不予批准，并授意回教协会改选理事长，白崇禧不得不将担任了二十余年的“中国回教协会理事长”一职辞去。不过他在台北主持修建清真寺，在回教事业上还是做了些工作的。
白崇禧在台湾生活十七年，除了偶尔参加一些礼仪性活动，很少有事可做。平时在家读书写字，据说白崇禧的书法造诣颇深，但不轻易示人。此外，他还有两大爱好，即下围棋和打猎，藉以打发时光，舒解寂寞。
白崇禧晚年的最后一项工作，就是口述自己的回忆录。从1963年2月开始，台北“中央研究院”近代史研究所先后派出科研人员贾廷诗、马天纲、陈三井、陈存恭等人，访问白崇禧128次，时间持续了近四年，直至1966年11月24日白氏逝世前8天止。贾廷诗等人将白氏口述整理成初稿后，由近代史所所长郭廷以校阅，前71次的访问记录稿并送本人订正，以后部分因白氏突然去世，未经审阅。1980年至1985年，香港《中报》月刊征得白氏家属同意，在该杂志上连载白崇禧回忆录。1984年5月，台北“中央研究院”近代史所将白氏口述回忆录以《白崇禧先生访问记录》为书名，分上下两册公开出版。
白氏回忆录，从自己的家世说起，依次叙述他求学、从军以后几十年亲身经历的大事，对统一广西、北伐战争、反蒋战争、抗日战争及全国解放战争等各个时期重要战役的战略思想、战略方针，进行了分析，总结了作战经验和教训，并对一些重大历史事件提出了自己的看法。白氏回忆录为研究中国近现代史提供了一份重要的参考资料。但是，由于白崇禧所代表的新桂系在北伐后的二十余年间，与蒋介石既合作又对抗的特殊经历，恩恩怨怨纠缠在一起，加上身处台湾特殊环境，因此，白崇禧在口述自己的回忆录时，难免在一些问题上不得不托词辩解，或刻意回避。在当时的环境下，白氏如此做也是可以理解的。
1965年，李宗仁夫妇冲破阻难，抵达北京，受到中共党政军领导人的热烈欢迎和很高的礼遇。
李宗仁的回国，对于在台湾的白崇禧来说，却是致命的一击。李宗仁一回大陆，白崇禧牵制李宗仁的价值消失，蒋介石不再需要白崇禧了，白崇禧也就自身难保了。据说，白崇禧也明白其中的利害关系，曾很痛苦地对身旁的人说：“德邻投匪，我今后在台湾，更没有脸见人了。”