Das Schloss steht auf der Stelle der ehemaligen Wasserfeste aus dem 13. Jahrhundert, die im 16. Jahrhundert in ein Renaissance-Schloss umgebaut wurde. Das heutige Aussehen gewann es bei dem gründlichen Umbau in einen prachtvollen Renaissance-Sommersitz in den 1720er Jahren unter den Grafen Paar. In jener Zeit wurde rund um das Schloss ein Park mit reichem Bildhauerdekor angelegt.

Das Mährische Landesmuseum wurde zum Schlossverwalter im Jahre 1974 und nach umfangreichen Herrichtungen erbaute es dort Magazine naturhistorischer Abteilungen. Der öffentlich zugängliche Teil des zoologischen Magazins stellt die ältesten Kollektionen ausgestopfter Vögel, Säugetiere und Amphibien aus dem Sammlungsfonds der Abteilung vor, die mit Trophäen aus Jagdexpeditionen nach Afrika, Asien und Kanada ergänzt sind.

Von Neuerwerbungen wird im Schlossmagazin das Material aufbewahrt, das während der Expeditionen in das Donaudelta in den Jahren 1979-1990, auf Kuba (1987), nach Jakutsk (1991) und nach Südamerika (1994-1998) gewonnen wurde.

Sammlungen von Wirbeltieren sind mit Beispielen einiger Gruppen von Wirbellosen - Seeschwämmen, Nesseltieren, Krustentieren, Weichtieren, Würmern und Stachelhäutern ergänzt.

Besitzer des Barockschlosses Budišov ist das gleichnamige Städtchen Budišov.