Vom 19. auf den 20. Januar 1902 war das Renaissance-Lusthaus von Georg Beer, das zuletzt um die Mitte des 19. Jahrhunderts von den Architekten Johann Ferdinand Gabriel und Ludwig Friedrich Gaab zum Hoftheater nach Pariser Vorbild umgebaut worden war, vollständig abgebrannt. Da sich überraschenderweise noch Fragmente des Lusthauses, das zu den bedeutendsten Gebäuden seiner Zeit in Deutschland zählte, erhalten hatten, wurde kontrovers über eine Rekonstruktion des Gebäudes in seinen alten Formen diskutiert. Aber auch andere Pläne standen zur Debatte: So die Errichtung eines monumentalen Nationaldenkmals, ein Vorschlag, den der Cannstatter Architekt Adolf Mack einbrachte, oder der Bau eines Ethnographischen Museums. In der Diskussion waren weiterhin die Errichtung eines Interimstheaters oder die Idee, den neuen Theaterbau an selber Stelle zu errichten. Die Pläne zerschlugen sich alle: Die Idee zu einem Nationaldenkmal wurde aufgegeben, das Ethnographische Museum wurde 1908 bis 1910 schließlich am Hegelplatz als Linden-Museum erbaut, das Interimstheater war bereits im Oktober 1902 auf dem Platz des heutigen Landtaggebäudes fertiggestellt worden. Eine Rekonstruktion des Lusthauses fand nach einiger Euphorie letztlich keinen Rückhalt beim Hof und in der Stadt. 1903 wurde der Platz eingeebnet und die verbliebenen Fragmente in den Oberen Anlagen des Schlossgartens als romantische Kulisse wieder aufgerichtet. Theodor Fischer, der den Platz des Lusthauses schließlich mit dem Kunstgebäude überbaute, verwehrte sich mit vielen anderen Künstlern und Architekten scharf gegen eine Rekonstruktion und schrieb in der „Schwäbischen Chronik“ 1903: „Hin ist hin. Lassen wir die Toten ruhen!“

Der Entscheidung, ein Kunstgebäude am Schlossplatz zu errichten, lag der Wunsch nach einem Ausstellungsgebäude zugrunde, denn die Räumlichkeiten des Museums der bildenden Künste, heute Staatsgalerie, reichten nicht aus, um Sonderausstellungen auszurichten. Die Idee zu einem solchen Gebäude kursierte schön länger, es fehlte freilich an einen geeigneten Bauplatz sowie der Finanzierung. Mit dem Freiwerden des attraktiven Areals am Schlossplatz änderte sich die Situation schlagartig; der König stellte den Bauplatz kostenlos zur Verfügung und einigte sich 1910 mit der Stadt und der Staatsfinanzverwaltung auf eine einvernehmliche Finanzierung. Bereits am 9. Januar 1909 hatte Theodor Fischer offiziell den Bauauftrag für das Kunstgebäude erhalten. Er war damals zwar bereits nach München zurückgekehrt, von wo er 1901 nach Stuttgart gekommen war, jedoch hatte König Wilhelm II. ihm bereits kurz vor seinem Weggang den Bau zugesagt. Dieser Direktauftrag an Fischer sorgte zwar unter den Stuttgarter Architekten, insbesondere bei Bernhard Pankok, für einige Verärgerung, dennoch wurde am 8. November 1910 der erste Spatenstich auf dem Theaterplatz vollzogen. 17 Monate später, im März 1913, war das Gebäude fertiggestellt und wurde mit der „Großen Kunstausstellung“ feierlich eröffnet.

Fischers Entwurf war exzeptionell und ganz auf den Bauplatz zwischen dem historistischen Olga-Bau, dem Schloss und Schlossgarten bezogen. Zum Schlossplatz hin öffnete sich eine Vorhalle mit sieben rundbogigen Arkaden auf sechs Säulen mit eigenwilligen Kapitellen. Überragt wurde diese Vorhalle durch den eigentümlichen zwölfeckigen turmartigen Aufsatz, der weniger eine Kuppel als eine Laterne mit Seitenlicht ist. Obenauf thront der „Goldene Hirsch“ des Bildhauers Ludwig Habich, der ebenso wie die Arkaden als ein Zitat des Lusthauses und seiner plastischen Ausstattung interpretiert werden kann. Das Gebäude nahm den vollständigen Platz des ehemaligen Hoftheaters ein. Es bestand aus einem längsrechteckigen Baukörper mit dem Kuppelsaal in der Mitte. Diesem waren nach der Vorhalle ein Vorsaal, ein reizvoller Schmuckhof mit kleinem Brunnen und ein Ausstellungsaal vorgeschaltet. Zur Theaterstraße, heute Stauffenbergstraße, war ein großzügiges, fein ausgestattetes Restaurant angelegt. Die Ausstellungsräume waren zum Schlossgarten hin orientiert und besaßen Laternen für eine günstige Belichtung der Räume. Axial hinter dem Kuppelsaal gelangte man in einen annähernd quadratischen Gartenhof, der von eingeschossigen Lauben und Gartenhallen umgeben war. Das Gebäude war ganz im Stil Fischers einfach, aber edel ausgestattet, den Höhepunkt bildete der Kuppelsaal, der mit feinen Stuckreliefs geschmückt war.

1944 wurde der Bau weitgehend zerstört. Nur die aus Eisenbeton erbaute Kuppel blieb stehen. Mit dem Wiederaufbau wurde Paul Bonatz, Fischer-Schüler und ab 1908 Nachfolger auf dessen Lehrstuhl an der TH Stuttgart, im Jahr 1952 beauftragt. Als Mitarbeiter wurde Walter Kruspe eingestellt, die Ausführungsplanung und weitere ergänzende Planungen lagen bei Günter Wilhelm. Wilhelm hatte bei Bonatz studiert, war dessen Assistent und seit 1948 Nachfolger von Bonatz als Professor für Baukonstruktion und Entwerfen an der TH Stuttgart. Somit bestand zwischen Fischer und seinen Nachfolgern beim Wiederaufbau eine direkte Linie, die sich sehr positiv auf das nun entstehende Gebäudeensemble auswirkte.

Die Erhaltung der Kuppel wird man Bonatz zuschreiben müssen, dem die städtebauliche Qualität dieses eigenwilligen Aufsatzes aus der Fernsicht nicht unbemerkt geblieben sein kann. Für die Vorhalle schlug Bonatz jedoch eine Neugestaltung vor; statt der Bogenarkaden plante er eine Stoa mit Säulen unter einem Architrav, konnte sich jedoch nicht durchsetzen. So blieben die Säulen bestehen, deren kubischen Kapitelle durch graphische Ritzungen an die noch historischen Vorbildern verpflichteten Kapitelle Fischers erinnern. Auch die Reliefs, die Fischer in den Bogenzwickeln platziert hatte, wurden in sehr vereinfachten Formen wieder aufgenommen und zeigen Motive aus dem Württembergischen Wappen. Die ehemals mit Kreuzgratgewölben geschlossene Vorhalle wurde mit einer flachen Rippendecke aufgebaut. Die Seitenfassaden wurden ebenfalls wesentlich vereinfacht.

Im Innern blieb der nun vom Stuck befreite Kuppelsaal, der ohne die Stuckreliefs sehr sachlich erscheint, das Zentrum des Hauses. Der Schmuckhof wurde zugunsten eines Oberlichtsaals aufgegeben, das Restaurant wurde verkleinert im ersten Obergeschoss über dem Foyer eingerichtet, die ehemaligen Restauranträume für die Verwaltung des Hauses genutzt. Erhalten blieben die Laternensäle auf der Seite des Schlossparks, ein Raum wurde mit einem großen Fenster jedoch als Seitenlichtraum ausgeführt. Der Garten entfiel vollständig; stattdessen schließt sich an das reduzierte Kunstgebäude nun eine quadratische stützenlose Ausstellungshalle an, die durch einen gläsernen Verbindungsbau an den Altbau angebunden ist. Dieser Verbindungsbau öffnet sich zum Park in einen Skulpturenhof. Die Neubauten gehen auf Günter Wilhelm zurück, der nach dem Tod Bonatz‘ im Jahr 1956 den Bau betreute. Die Halle besitzt völlig blendungsfreies, gleichmäßiges Oberlicht, das durch die sechs Sheddächer einfällt. Ansonsten schließt sich das Gebäude fensterlos ganz von seiner Umgebung ab, jedoch sind die Proportionen und Fügungen der hochrechteckigen Natursteintafeln von besonderer Feinheit.

Der Altbau wurde bis zur Fertigstellung des Kunstmuseums am Kleinen Schlossplatz 2005 von der Städtischen Galerie genutzt, während der Saalbau dem Kunstverein zur Verfügung steht. Bei großen Ausstellungen können sämtliche Räume zu einer Einheit zusammengefasst werden. Das Ensemble wurde 1961 anlässlich der Bundesgartenschau in Stuttgart eingeweiht. Proportional sind Alt- und Neubau sehr gut aufeinander abgestimmt. Die Kuppel mit dem „Goldenen Hirsch“ bildet weiterhin einen markanten städtebaulichen Akzent, die Säulenhalle das feierliche und freundliche Entree. Zum Park hin ist das gesamte Gebäude bis auf das große Fenster des Seitenlichtsaals fensterlos. Dass es dennoch nicht abweisend wirkt, verdankt das Gebäude dem Skulpturenhof, der mit dem gläsernen Verbindungsbau den offenen und freundlichen Charakter des Ensembles komplettiert.