Bygget har stått til forfall i mange år — nå har eierne fått pålegg om å ta grep