Hasta 1898, el antiguo pueblo de Haarzuilens se encontraba aproximadamente donde se creó el Jardín Romano. Se sabe poco sobre los orígenes de esta pintoresca aldea. Probablemente, el pueblo surgió en la Edad Media, al amparo de las murallas del castillo de De Haar.

El pueblo apenas ha cambiado a lo largo de los siglos. Unas veinticinco casas con tejados de paja y tejas se agrupaban alrededor de una plaza central rodeada de grandes árboles. El pueblo contaba con una posada que también hacía las veces de sala de reuniones del ayuntamiento. A finales del siglo XIX, aquí se podían comprar entradas para visitar las pintorescas ruinas.

Hacia 1891, cuando se elaboraron los primeros planes concretos para la restauración del castillo, se planteó la posibilidad de reubicar el antiguo pueblo de Haarzuilens, con el fin de crear un extenso parque y una zona de caza. Por eso se creó el nuevo pueblo de Haarzuilens a 1,5 kilómetros al este. En 1898, los vecinos pudieron mudarse a sus nuevas casas.

Hasta el día de hoy, la finca De Haar, el extenso parque y el pueblo del castillo de Haarzuilens conforman una obra de arte total única en los Países Bajos, un oasis verde de paz y tranquilidad en un país cada vez más concurrido y ajetreado.