蔣為安排後路，派陳主持台灣政務，改編和整訓由中國大陸遷往台灣之部隊。1948年12月29日，蔣公佈由陳出任台灣省政府主席。陳因事前未被諮詢，對此人事命令感到困惑，打算婉拒。1949年1月5日開始主持台灣省政。蔣函電陳，「如何不速就職，若再延滯，則夜長夢多，全盤計劃，完全破敗也。」1949年2月蔣任命陳兼任台灣警備總司令，以圖確保台灣，是蔣「引退」前重要人事部署，認為「有台灣在，即使大陸盡失，也可復興」。1949年7月台灣警備總司令部結束，成立東南軍政長官公署，任軍政長官，轄區為台灣與蘇浙閩潮汕沿海地區，負責收容整編撤出大陸的軍隊。