Początek miastu dała fabryka lniarska, która powstała na terenie dzisiejszego Żyrardowa w 1829 roku. Była to jedna z największych i najnowocześniejszych fabryk lniarskich w ówczesnej Europie. Żyrardów zawdzięcza swą nazwę pierwszemu dyrektorowi technicznemu fabryki, Philipowi de Girard. Był on m.in. wynalazcą maszyny do mechanicznego przędzenia lnu. W roku 1916 Żyrardów otrzymał prawa miejskie.

Po przejęciu fabryki w drugiej połowie XIX w. przez dwóch niemieckich przemysłowców: Karola Agusta Dittricha i Karola Hielle została ona rozbudowana, a wraz z nią osada fabryczna. 

Osada fabryczna to osiedle dla robotników i kadry kierowniczej fabryki, kościoły, szkoły, przedszkole, szpital, resursa, dom kultury "Ludowiec", a nawet pralnia i łaźnia miejska. Ten zabytkowy kompleks obejmuje centralną część miasta o powierzchni ok. 70 ha.

Powszechnie uważa się, iż zabytkowe centrum Żyrardowa jest jedynym w Europie, zachowanym w całości, zespołem urbanistyczno-architektonicznym miasta przemysłowego przełomu XIX i XX wieku.

Osadę charakteryzuje zarówno specyficzny porządek urbanistyczny, jak i różnorodność form i stylów architektonicznych. Wynika to ze zróżnicowania narodowościowego mieszkańców ówczesnego XIX-wiecznego Żyrardowa. W fabryce pracowali Polacy, Niemcy, Czesi, Żydzi, Anglicy, Szkoci, Irlandczycy. Żyrardów jest jedną z osad robotniczych, które próbowano budować według projektów tzw. miast idealnych, czy "miast ogrodów". Dzięki temu można zaliczać Żyrardów do grona jednego z najważniejszych osiągnięć europejskiej urbanistyki drugiej połowy XIX wieku.

Jednym z największych wyzwań, które stoi przed miejskim samorządem jest rewaloryzacja obiektów zabytkowej osady fabrycznej. Stanowi ona niepowtarzalną w skali całego kraju atrakcję i powinna zostać wykorzystana jako atut rozwoju Żyrardowa.