Før fabrikken blev bygget bestod bebyggelsen i området af Silkeborg Hovedgård (i dag Silkeborg Museum), en vandmølle, en kro, et mindre teglværk og nogle enkelte huse. I alt boede der kun ca. 30 indbyggere her. Men med opførelse af fabrikken kom der gang i byvæksten.

Genopbygget efter brand i 1864

Fabrikken brændte i 1864, men blev genopbygget og produktionen fortsatte. Siden blev fabrikken udbygget ad flere omgange. I 1910 blev den karakteristiske seddelfabrik (der i dag bl.a. huser Henton Group) opført. Det skete, da papirfabrikken af Nationalbanken fik overdraget det ærefulde erhverv at producere papir til landets pengesedler, en produktion der fortsatte indtil 1963.

Fabrikken blev yderligere udbygget med to parallelle bygninger til papirmaskiner. Disse bygninger rummer i dag henholdsvis Radisson BLU-hotellet og Midtjyllands Avis.

Nedlukning i år 2000

Silkeborg Papirfabrik lukkede i 2000. Fabriksbygningerne gennemgik herefter en omfattende renovering og blev omdannet til erhvervs- og boligformål. Desuden blev der opført nye boliger og et nyt musik- og teaterhus.