晚年的白崇禧以棋为伴
尽管如此，白崇禧的处境还是越来越糟。1952年，国民党召开“七大”，唯独白崇禧落选，连“评议委员”都没混上，更要命的是蒋经国竟然派人搜查了他的家。1954年，“国大”一届二次会议在台北召开。会上，有人提出议案，要求弹劾身为“国大代表”白崇禧，幕后的推手当然是蒋介石。
白崇禧赋闲在家，无所事事，以下围棋、打猎为乐，偶尔参加宗教协会的一些活动。他是台湾“中国回教协会”理事长。1955年，回教协会进行改组，不再设理事长一职，选举时子周为协会主席，把白崇禧凉在一边，他的“理事长”也就当到头了。
白崇禧与女儿白先智。白崇禧有10个孩子，包括一个私生子
在蒋介石的授意下，蒋经国又在白崇禧家对面设立派出所，24小时监视白崇禧。据“国防部”军事情报局特勤处主任谷正文后来爆料说，军情局曾先后三次派人暗杀白崇禧，可白崇禧命大福大，每次都能逢凶化吉。
