Het idee voor een Feest- en Cultuurpaleis ontstaat nadat het stadhuis werd vernield tijdens de Tweede Wereldoorlog. In 1954 beslist men om op diezelfde plek een gebouw op te trekken voor exposities en feesten. Als architect wordt Luc Viérin aangetrokken. Het uiteindelijke ontwerp biedt ruimte aan o.a. een tentoonstellingszaal, een museum, een bibliotheek en een theater. Op de binnenkoer wordt een beeld van kunstenaar Willy Kreitz geplaatst en de klokkentoren van het voormalige stadhuis wordt in ere hersteld.
In 1958 wordt het gloednieuwe Feest- en Cultuurpaleis de vaste stek van het Museum voor Schone Kunsten. Met de komst van het museum herbergt het Feest- en Cultuurpaleis tot 1985 een unieke collectie Belgische kunst van o.a. James Ensor, Constant Permeke, Léon Spilliaert en andere Vlaamse kunstenaars.
In 1997 organiseert TAZ er voor het eerst theater- muziek- en dansvoorstellingen, o.a. laureaat De Embryos - Tine, Pieter en Bert Embrechts - treedt er dat jaar op. In 2001 vindt Duveltjeskermis, een muziekprogramma met halfvergeten liedjes, plaats in de Lusterzaal en de beiaardtoren is in 2003 de locatie voor - binnen het stadsnomadenparcours - Me, Mike en Moustafa.
Door de jaren heen krijgen verschillende ruimten een andere bestemming. Waar ooit tentoonstellingen, theater en feesten plaatsvonden, wordt plaats gemaakt voor burelen. In 2003 heeft het Feest- en Cultuurpaleis nog weinig van zijn oorspronkelijke allure en de stad beslist om het te verbouwen tot een winkelcentrum. De laatste TAZ-voorstelling, Huilend Hert, aangeschoten wild, wordt er in 2004 opgevoerd. Op 6 april 2007 wordt het oude Feest- en Cultuurpaleis omgedoopt tot Woon- en winkelcomplex residentie Feest- en Cultuurpaleis.
