Più o meno dove è stato costruito il Giardino Romano, fino al 1898 si trovava l'antico villaggio di Haarzuilens. Poco si sa sulle origini del pittoresco borgo. Presumibilmente, il villaggio ebbe origine nel Medioevo proprio sotto la protezione che le mura del Castello di Haar potevano offrire al borgo.

Il villaggio del castello si è sviluppato a fatica nel corso dei secoli. Circa venticinque case con tetto di paglia e tegole sono raggruppate attorno a una spianata coperta da grandi alberi. Nel villaggio si trova anche una locanda che fungeva anche da sala del consiglio. Qui, alla fine del XIX secolo, si poteva acquistare un biglietto per visitare la pittoresca rovina.

Già nei primi progetti concreti di restauro del castello, intorno al 1891, si parlava di un necessario trasferimento della vecchia Haarzuilens per creare un vasto parco e un'area di caccia. Per questo motivo, la nuova Haarzuilens sarà situata a 1,5 chilometri a est. Nel 1898 i residenti poterono trasferirsi nelle loro nuove case.

Queste case sono costruite intorno a un arco trapezoidale, sul quale si trova la pompa del villaggio. Oltre alle case residenziali, il villaggio ospita anche una fucina e alcuni negozi. L'edificio più suggestivo è Het Wapen van Haarzuilens, progettato come locanda e sala del consiglio. Ha anche un vero cachot! La scuola del villaggio è dedicata a San Bonifacio.

Ancora oggi, la tenuta De Haar, il suo vasto parco e il villaggio del castello di Haarzuilens formano un Gesamtkunstwerk unico nei Paesi Bassi, un'oasi verde di pace e tranquillità in una Randstad sempre più affollata e frenetica.