Ungefähr dort, wo der Römische Garten gebaut wurde, befand sich bis 1898 das alte Dorf Haarzuilens. Über die Ursprünge des malerischen Weilers ist wenig bekannt. Vermutlich entstand das Dorf im Mittelalter unter dem Schutz, den die Mauern von Schloss de Haar dem Weiler bieten konnten.

Das Burgdorf hat sich im Laufe der Jahrhunderte kaum entwickelt. Etwa fünfundzwanzig strohgedeckte und geflieste Häuser gruppieren sich um einen mit großen Bäumen bewachsenen Rand. Im Dorf gibt es auch ein Gasthaus, das auch als Ratsstube diente. Hier konnte man im späten 19. Jahrhundert eine Eintrittskarte für die Besichtigung der malerischen Ruine kaufen.

Bereits bei den ersten konkreten Plänen für die Restaurierung des Schlosses um 1891 war die Rede von einer notwendigen Verlegung der alten Haarzuilens, um ein weitläufiges Park- und Jagdgebiet zu schaffen. Das neue Haarzuilens wird demnach 1,5 Kilometer östlich liegen. 1898 konnten die Bewohner in ihre neuen Häuser einziehen.

Auch diese Häuser sind um einen trapezförmigen Rand gebaut, auf dem die Dorfpumpe einen prominenten Platz einnimmt. Neben Wohnhäusern gibt es im Dorf auch eine Schmiede und einige Geschäfte. Das auffälligste Gebäude ist Het Wapen van Haarzuilens, das als Gasthaus und Ratssaal konzipiert ist. Es hat sogar ein echtes Cachot! Die Dorfschule ist dem Heiligen Bonifatius gewidmet.

Bis heute bilden das Landgut De Haar, sein weitläufiger Park und das Schlossdorf Haarzuilens ein in den Niederlanden einzigartiges Gesamtkunstwerk, eine grüne Oase der Ruhe in einer zunehmend überfüllten und hektischen Randstad.