Az eredetileg Papszernek nevezett, egyemeletes, szabadon álló épület, középkori magból a 15. századtól a mai napig fokozatosan épült ki. Az épületben eredetileg a Lévay József Református Gimnázium elődje működött. A 18. században építették hozzá a nyugati két helyiséget és a tornácfolyosót, az emeletet pedig 1790–91-ben húzták rá. Az épületet 1899-ben kapta meg a múzeum, és első állandó kiállítását 1902-ben nyitotta meg.
Komolyabb felújításon utoljára az 1970-es években esett át, azt követően, hogy 1967-ben az északi homlokzat egy része leomlott. Az 1974-es átadás óta csak állagmegóvási munkálatokat végeztek el rajta, állapota folyamatosan romlik, 2019 óta nem látogatható a kiállítóhely. 2023-ban a múzeum nevezte az épületet Európa hét legveszélyeztetettebb műemlékének listájára, a szűkített 11-es listára még felkerült az épület, ezt követően azonban lemorzsolódott.
