1949年5月，上海战役失败后，逃台的国民党军政人员议论纷纷。当时，汤恩伯部装备精良，却只抵抗了十多天就全城崩溃。为弄清失败原因，蒋介石指示陈诚在台北主持召开一次上海防卫战失败检讨会。会上，一些将领都把矛头指向汤恩伯。汤恩伯心里很清楚，他以后在台湾的处境肯定不妙。

　　1949年初，浙江省政府主席陈仪到上海策动时任京沪杭警备总司令的汤恩伯起义。汤恩伯早年到日本留学的名额是陈仪争取的，费用也由陈仪资助。为感激陈仪，汤改名“恩伯”，并拜陈仪为“义父”“恩师”。没想到，汤恩伯竟将自己的恩师出卖了。1949年2月21日，蒋介石下令逮捕陈仪，并以“通共”为罪名，将陈仪枪决。

　　陈仪事件及政治上不受重用，对汤恩伯刺激很大，他感到无脸见亲友，很想到日本去度过余生。

　　1949年5月6日，汤恩伯令亲信从上海秘密将50万美元军费汇到美国一个朋友的账户上，再由这位朋友将钱转汇给在日本的亲信王文成、龙佐良处。1949年7月，这两人花3万美元在东京近郊给汤恩伯买了一栋有22间房间的豪宅。

　　汤恩伯在日本买房子后，不慎走漏了风声。蒋介石得知后大骂道：“混账！怪不得上海和东南沿海败得那么快，原来他（汤恩伯）早作了逃往日本的准备！”

　　1950年3月，汤恩伯以“召募日籍志愿军反攻大陆”为由，决定去日本。蒋介石判断汤恩伯想逃，于是下令阻止。几名军警接到命令后，强行将汤恩伯拉下了飞机。

　　汤恩伯在台不受重用，逃日又未成功，思想包袱十分沉重。由于长期怄气，导致汤恩伯身体消瘦。医生说他肝部有问题。后来，汤恩伯申请去日本治病。蒋介石讽刺说：“有大过的人，还要到日本去治病！”随后，在汤恩伯的申请报告上签了“就地医治”4个字。

　　1953年10月2日，有人动员汤恩伯住院。汤恩伯愤愤地说：“我的病在台湾治不好，住院也无益。要治病，只有到国外。我申请到日本治病，总裁又不同意，没有办法，只有等死！”

　　次年4月，汤恩伯突感腹部疼痛，医生发现他的十二指肠部有一个肿瘤，判断可能是癌症，建议他到国外做手术。汤的家人立即给蒋介石打报告。这一次老蒋同意了。

　　1954年5月26日晚，汤恩伯搭乘飞机去日本东京治病。6月29日，汤恩伯做手术时，因失血过多，死在手术台上，终年56岁。蒋介石得知汤恩伯死了，反应冷淡，只说了一句：“死了也好。”据《老年文汇报》