Zu besonderem Ruhm kam das Baudenkmal aus dem 16. Jahrhundert als Kriegsgefangenenlager im Zweiten Weltkrieg – mit teils atemberaubenden Fluchtgeschichten. In dem Spielfilm „Colditz – Flucht in die Freiheit“ wurden die wilden Zeiten des Schlosses in den Kriegsjahren bis 1945 nachgespielt, und ähnlich spannend ist auch ein Besuch in den Ausstellungen des Schlosses heute.
Fast 1.000 Jahre ist es her, seit an gleicher Stelle der erste, später abgebrannte herrschaftliche Sitz errichtet wurde. Die ganze Zeit hinweg führte das heutige Baudenkmal ein eher biederes Dasein, bis der ehemalige Herrschaftssitz erstmals als Ort der Euthanasiemorde an geistig kranken Menschen später schaurige Bekanntheit erlangte.
