Kaštieľ sa nachádza v centre mesta. Bol postavený v prvej polovici 18. storočia a kedysi ho vlastnil významný Uhorský rod Dessewffy. Rod Dessewffy vlastnil kaštieľ až pokým nebol v roku 1940 zoštátnený. Počas druhej svetovej vojny v ňom sídlilo vedenie pracovného tábora na výstavbu železničnej trate a od roku 1976 je kaštieľ sídlom múzea. Kaštieľ je obklopený rozsiahlym parkom, ktorý bol pôvodne okrasnou záhradou s pravidelným členením.

V súčasnosti v ňom sídli Vlastivedné múzeum v Hanušovciach nad Topľou. V múzeu sú umiestnené cenné expozície venované prírode a histórii regiónu. Počas roka sa v ňom koná množstvo kultúrnych podujatí.