Kaštieľ je poslednou zachovanou časťou mestského hradu v Stropkove. Stredoveký hrad dali postaviť v 15. storočí vtedajší majitelia mestečka Peréňovci. Hrad zanikol koncom 18. storočia a väčšinu jeho hradieb obyvatelia postupne rozobrali na stavebný materiál. Kaštieľ prešiel počas svojej existencie niekoľkými výraznými stavebnými úpravami, ktoré určili jeho súčasnú podobu. Jeho najcennejšou časťou so zachovanými renesančnými znakmi, je tzv. rytierska sieň.

Aktuálne je kaštieľ vo vlastníctve mesta, ktoré časť jeho priestorov poskytlo na múzejné účely. V múzeu sa nachádza stála výstava výtvarných diel Františka Veselého, výstava krojovaných bábik z celého sveta a dočasné výstavy podľa aktuálnej ponuky.