Der Damenstift wurde in den Jahren 1682-1690 im Stil des städtischen Barockpalastes durch den Brünner Baumeister Jan Křtitel Erna erbaut. In den Jahren 1790-1791 wurde das ursprüngliche einstöckige Gebäude von J.V. Eitelberger erweitert, um ein Stockwerk erhöht und mit dem benachbarten Althan-Palast verbunden. Von der Straße aus betritt man es durch ein auffallendes Portal mit Bossage. Das Palais diente als Stift für die Erziehung verwaister adeliger und bürgerlicher Mädchen. 

Nach dem amerikanischen Luftangriff auf Brünn im Jahre 1944 war das Althan-Palais insofern beschädigt, dass es nach 1948 abgerissen wurde; dasgleiche Schicksal drohte auch dem Damenstift. Im Laufe der 1950er Jahre konnte jedoch dieses wertvolle Gebäude für Kulturzwecke gerettet werden. Prof. Bohuslav Fuchs erarbeitete das Projekt einer großzügigen Rekonstruktion des Hauses, die sowohl ursprüngliche historische Pläne, als auch damalige Museumsbedarfe respektierte. Anspruchsvolle Umbauten erfolgten ab 1957, im Jahre 1961 wurde die ethnographische Dauerausstellung "Das Volks in fünf Generationen" eröffnet, die mit kleinen Veränderungen bis zum Herbst 1999 zur Belehrung der Öffentlichkeit diente. In den Jahren 2000-2002 wurde der Damenstift renoviert, ab 2003 werden dort Wechselausstellungen gezeigt. Eine neue ständige Ausstellung wird vorbereitet.