I 1716 grundlagde Karen Brahe et kloster for ugifte kvinder af dansk adel. Hun var en dansk adelsfrøken og bogsamler. Hun var primært interesseret i teologi og historie, men hendes samling rummer også mere praktiske værker om medicin, anatomi, kogebøger m.m. Usædvanligt for den tid drev hun sin faders ejendom og, efter hans død, sin egen. Klosteret forblev funktionelt indtil 1970.

Klostrets hovedbygning blev bygget i begyndelsen af det 16. århundrede som en del af en bispegård med flere fløje ned mod Odense Å og en høj buet kælder og store vinduer ud mod gårdspladsen.

Det indre af bygningen er bemærkelsesværdigt godt bevaret. På væggene er der lag på lag af dekorationer såsom paneler, tapet og vægmalerier.

Huset er blevet totalrenoveret af Realdania Byg, kendt for deres mange vellykkede renoveringer af historiske bygninger, og i dag huser det H.C. Andersen Sekretariatet fra Syddansk Universitet Odense.