Cerca de donde se construyó el Jardín Romano, se encontraba la antigua aldea de Haarzuilens hasta 1898. Poco se sabe sobre los orígenes de la pintoresca aldea. Presumiblemente, la aldea se originó en la Edad Media justo bajo la protección que las murallas del Castillo de Haar podían ofrecer al caserío.

El pueblo del castillo apenas se ha desarrollado a lo largo de los siglos. Unas veinticinco casas con techo de paja y tejas se agrupan en torno a un brocal cubierto de grandes árboles. El pueblo cuenta con una posada que también servía de sala del consejo. Aquí, a finales del siglo XIX, se podía comprar una entrada para visitar la pintoresca ruina.

Ya en los primeros planes concretos de restauración del castillo, hacia 1891, se habló de un necesario traslado del antiguo Haarzuilens para crear un vasto parque y coto de caza. De ahí que el nuevo Haarzuilens se situara 1,5 kilómetros al este. En 1898, los residentes pudieron mudarse a sus nuevas casas.

Estas casas también están construidas alrededor de un brocal trapezoidal, en el que la bomba del pueblo ocupa un lugar destacado. Además de casas residenciales, el pueblo cuenta con una herrería y algunas tiendas. El edificio más llamativo es Het Wapen van Haarzuilens, diseñado como posada y cámara del consejo. Incluso tiene un cachot de verdad. La escuela del pueblo está dedicada a San Bonifacio.

En la actualidad, la finca De Haar, su inmenso parque y el pueblo castillo de Haarzuilens forman un Gesamtkunstwerk único en los Países Bajos, un oasis verde de paz y tranquilidad en un Randstad cada vez más abarrotado y agitado.