徐柏園因為屬於夫人派（蔣宋美齡）而遭到太子派（蔣經國）鬥爭，官方製造了「剝蕉案」冤獄來鬥爭，徐柏園屬下被牽連，徐柏園被迫離開權力核心。此事件牽連「香蕉大王」吳振瑞，引發日本方面不滿，因此臺灣失去賺取大筆外匯的香蕉外銷日本業務