C'est à peu près à l'endroit où le jardin romain a été construit que se trouvait, jusqu'en 1898, l'ancien village de Haarzuilens. On sait peu de choses sur les origines de ce hameau pittoresque. Il est probable que le village a vu le jour au Moyen-Âge, sous la protection que les murs du château de Haar pouvaient offrir au hameau.

Le village du château s'est à peine développé au fil des siècles. Environ vingt-cinq maisons aux toits de chaume et aux tuiles sont regroupées autour d'un promontoire couvert de grands arbres. Le village possède également une auberge qui servait également de salle du conseil. C'est là qu'à la fin du 19e siècle, on pouvait acheter un billet pour visiter la ruine pittoresque.

Dès les premiers plans concrets de restauration du château vers 1891, il est question d'un déplacement nécessaire de l'ancien Haarzuilens pour créer un vaste parc et un domaine de chasse. Le nouveau Haarzuilens sera donc situé à 1,5 kilomètre à l'est. En 1898, les habitants peuvent emménager dans leurs nouvelles maisons.

Ces maisons sont également construites autour d'un anneau trapézoïdal, sur lequel la pompe du village occupe une place de choix. Outre les maisons d'habitation, le village compte également une forge et quelques magasins. Le bâtiment le plus remarquable est Het Wapen van Haarzuilens, conçu comme une auberge et une salle du conseil. Il possède même un véritable cachot ! L'école du village est dédiée à Saint-Boniface.

Aujourd'hui encore, le domaine De Haar, son vaste parc et le village du château de Haarzuilens forment une œuvre d'art globale unique aux Pays-Bas, une oasis de verdure et de tranquillité dans une Randstad de plus en plus encombrée et agitée.