1641 年，約翰·範·祖倫·範·德哈爾 (Johan van Zuylen van de Haar) 無子而終，這座城堡似乎逐漸變成了廢墟。 1672 年 Rampjaar 時期，這座城堡倖免於法國人的徹底破壞。 1890 年，德哈爾城堡由讓-雅克 (Jean-Jacques) 的孫子艾蒂安·古斯塔夫·弗雷德里克·範·祖伊倫·範·尼維爾特·範·德哈爾 (Etienne Gustave Frdric Baron van Zuylen van Nyevelt van de Haar) (18601934) 男爵繼承，他夫人與羅斯夫人 (Baroness) 結婚。他們於 1892 年聘請建築師 Pierre Cuypers 重建這座破舊的城堡，耗時 15 年。
荷蘭德哈爾城堡。
目前城堡所在地最古老的建築歷史記錄可追溯至 1391 年。那一年，德哈爾家族從亨德里克·範沃爾登 (Hendrik van Woerden) 手中獲得了這座城堡和周圍的土地作為封地。這座城堡一直歸德哈爾家族所有，直到 1440 年最後一位男性繼承人無子而亡。這座城堡隨後傳給了 Van Zuylen 家族。