Ongeveer op de plaats waar de Romeinse Tuin is aangelegd, ligt tot 1898 het eeuwenoude dorpje Haarzuilens. Over de oorsprong van het pittoreske gehucht is weinig bekend. Vermoedelijk is het dorp in de Middeleeuwen ontstaan pal onder de bescherming die de muren van Kasteel de Haar het gehucht konden bieden.

Het kasteeldorpje heeft zich in de loop der eeuwen nauwelijks ontwikkeld. Zo’n vijfentwintigtal huizen met riet en pannen gedekt zijn rond een met grote bomen begroeide brink gegroepeerd. Het dorp kent ook een herberg die tevens de functie van raadszaal vervulde. Hier kan men aan het einde van de 19de eeuw een kaartje kopen om de pittoreske ruïne te bezoeken.

Al bij de eerste concrete plannen voor de restauratie van het kasteel rond 1891, wordt er gesproken over een noodzakelijke verplaatsing van het oude Haarzuilens voor de aanleg van een uitgestrekt park- en jachtgebied. Vandaar dat het nieuwe Haarzuilens 1,5 kilometer oostelijker komt te liggen. In 1898 kunnen de bewoners hun nieuwe huizen betrekken.

Ook deze huizen worden rondom een trapeziumvormige brink gebouwd, waarop de dorpspomp een prominente plaats krijgt. Naast woonhuizen kent het plaatsje ook een smederij en enkele winkels. Het meest in het oog springende gebouw is Het Wapen van Haarzuilens dat als herberg en raadszaal ontworpen is. Er is zelfs een heus cachot aanwezig! De dorpsschool is aan St. Bonifatius toegewijd.

Tot op de dag van vandaag vormen landgoed De Haar, het uitgestrekte park en het kasteeldorp Haarzuilens een voor Nederland uniek Gesamtkunstwerk, een groene oase van rust en stilte in een steeds voller en hectischer wordende Randstad.