Gálffy a háborús évek után rendkívül sokat vállalt magára az újjáépítés munkáiból, motorja volt annak, és munkájáért 1948 januárjában megkapta a Magyar Köztársasági Érdemkeresztet. A sok feladat megviselte az egészségét, és 1949. február 1-jén, 55 éves korában lemondott funkciójáról. Ezután „hálából” államosították a magánvilláját, majd 1952. június 23-án éjszaka családjával együtt kitelepítették a hortobágyi Borsós tanyára. Csak 1953. szeptember 15-én térhettek haza, amnesztiával, a házukat viszont addigra teljesen kifosztották és feldúlták.
Az épület ezután évtizedekig pusztult, a Miskolc a Múltban Facebook-csoportban szereplő adatok szerint azonban jelenlegi tulajdonosa hosszú évek alatt teljesen felújította és némileg át is építette, ami az új, a napokban készült fotón szépen látszik is.
