他的情婦為數不少。拿破崙的社交秘書在他在位期間，經常安排他喜歡的女子與他幽會。他的風流事令他無法集中注意力，處理國務，也損害了他與妻子的關係，甚至損害了他在歐洲其他王室當中的形象. 歐仁妮在親友的建議下，在婚前限制了拿破崙。他婚後不久，就再度沾花惹草。拿破崙四十多歲的時候，就開始出現各種疾病，包括腎病、膀胱結石、慢性膀胱病、前列腺炎、關節炎、痛風和肥胖。