Het museum waarin de collectie is ondergebracht beslaat een totale bruto oppervlakte van 3.500 m2.

Het gebouw uit 1926 is gekenmerkt door een rigoureus skelet van beton met twee grote open aera's en een houten spitsdak waardoor het gaat lijken op een kathedraalruimte.

Het museum bestaat uit drie bouwlagen en een mezzanine. Boven de inkom zijn er vijf kabinetten om afzonderlijke installaties te tonen, er is ook een grote projectruimte met schelpvormig betongewelf, gebouwd in 1942.

De verbouwingen met deels nieuwbouw vonden plaats volgens het ontwerp en de plannen van het architectenbureau Robbrecht en Daem uit Gent, in de periode februari 2005-juli 2006. De architecten kozen voor een sobere aanpak, bescheiden maar effectief met als basisprincipe "Im Mittelpunkt Kunst".

Architect Paul Robbrecht

"Vanaf het eerste bezoek aan de oude sanitaire opslagplaats was het duidelijk dat deze locatie over voldoende capaciteiten en intrinsieke kracht beschikte om deze collectie te bergen. Door het wegsnijden van het teveel aan wanden en vloeren en een spel van nieuwe en oude wanden, werd een subtiele variatie aan grote en flexibele ruimtes gecreëerd die geschikt waren voor de vaak nogal omvangrijke werken.

Om de bestaande gebouwen zo min mogelijk aan te tasten, werd geopteerd om alle nieuwe technische en sanitaire ruimtes onder te brengen in een nieuw volume, een schakelvolume in het hart van het museum. Dit tussengebouw laat ook toe om de verbinding tussen de twee bestaande hallen via nieuwe, veel intiemere kamers (de kabinetten) te laten verlopen.

Door deze overgangen tussen open ruimtes, meer geborgen ruimtes, oud en nieuw, ruw en zacht, de trappen, ramen en doorzichten is het gebouw steeds verrassend en vol mogelijkheden voor permanente en wisselende tentoonstellingen."