Die Brüder Melchior (1786-1851) und Sulpiz Boisserée (1783-1854), die aus einer Kölner Kaufmannsfamilie mit belgischen Wurzeln stammten, legten in ihrer Heimatstadt eine Sammlung von altdeutschen und niederländischen Gemälden an. Diese Gemälde kamen meist aus Kirchen, die im Zuge der Französischen Revolution säkularisiert worden waren. Daher gelang es den Brüdern Boisserée zusammen mit ihrem Freund Johann Baptist Bertram (1776-1841), eine Sammlung von etwa 250 Gemälden mit relativ geringen finanziellen Mitteln zusammenzutragen, darunter Werke von Jan van Eyck, Albrecht Dürer, Hans Holbein und Lukas van Leyden. Auch wenn viele Zuschreibungen heute nicht mehr haltbar sind, handelte es sich um eine qualitativ und ästhetisch wertvolle Sammlung. Durch die öffentliche Ausstellung und die Reproduktion der Werke lösten sie eine neue Wertschätzung dieser Kunstrichtung aus.
Ziel der Sammlung war es, die aus ihrem sakralen Zusammenhang herausgerissenen Kunstwerke in einem neuen Kontext zu zeigen, in dem ästhetische, religiöse und nicht zuletzt nationalpolitische Empfindungen beim Betrachten der Bilder verschmelzen sollten.
1810 siedelten die Brüder und ihr Freund Bertram von Köln nach Heidelberg über, wo sie ihre Sammlung in drei Räumen zahlreichen Besuchern, darunter auch Johann Wolfgang von Goethe, zeigten. Aufgrund des begrenzten Platzes waren die Gemälde hinter- und übereinander an die Wände gestapelt und wurden von den Sammlern einzeln herausgezogen und auf Staffeleien gestellt.
Von Heidelberg aus versuchten die Boisserées, ihre Sammlung an einen deutschen Staat oder seinen Souverän zu verkaufen mit dem Ziel, einerseits den Unterhalt der Sammlung zu sichern und sie andererseits der Öffentlichkeit langfristig zugänglich zu machen. Über Jahre verhandelten sie mit dem Land Preußen, der Stadt Frankfurt und dem König von Bayern. Der Stuttgarter Verleger Johann Friedrich Cotta umwarb die Sammler und versuchte, sie zum Umzug nach Stuttgart zu bewegen. Es gelang Cotta, das württembergische Königspaar für die Sammlung zu interessieren. Am 29. Oktober 1818 bekamen die Boisserées in Heidelberg überraschenden Besuch von König Wilhelm I. von Württemberg und seiner Gattin Königin Katharina Pawlowna von Württemberg – die Sammler selbst waren bei diesem Besuch in Pantoffeln, wie Sulpiz Boisserée in seinem Tagebuch am selben Tag notierte. Das Königspaar zeigte sich sehr beeindruckt von den Werken; die Königin stellte sogar in Aussicht, dass sie die Sammlung aus eigener Tasche bezahlen und dem württembergischen Volk schenken wolle. Die Boisserées und ihr Freund Johann Baptist Bertram zogen daraufhin im Dezember 1818 nach Stuttgart. Im Januar 1819 starb die Königin jedoch überraschend, womit die Finanzierung des Ankaufs aus ihren privaten Mitteln geplatzt war.
Die Geschichte der Sammlung Boisserée in Stuttgart wird meist als eine Geschichte des Versagens geschildert: Der württembergische König weigerte sich letztlich aufgrund der angespannten finanziellen und politischen Lage, die Sammlung anzukaufen. Sie wurde 1827 an Ludwig I., König von Bayern, verkauft und später Teil der Sammlung der Pinakothek. Trotzdem kann die Ausstellung der Werke in Stuttgart als Erfolgsgeschichte gewertet werden.
Der württembergische König überließ den Brüdern Boisserée den Pavillon der Garde-Offiziere, der sich in bester Lage im Zentrum der Stadt befand und über 44 Räume verfügte. Er war 1807 von Nikolaus Friedrich von Thouret (1760-1845) erbaut worden. König Wilhelm I. stellte Mittel für dessen Umbau zur Verfügung. Die drei Sammler konnten dort kostenfrei wohnen und ihre Bilder effektvoll präsentieren. Besonders bedeutende Werke wurden in einem Zimmer oder an einer Wand einzeln aufgestellt. In den Zimmern auf der Rückseite des Gebäudes – damals noch mit Blick in einen Garten – befanden sich die Hauptwerke. Zur Königstraße wurden die Werke stilgeschichtlich angeordnet. Es gab eine einheitliche Raumausstattung, natürliches Licht durch seitliche Fenster und eine Bestuhlung, um das Kunstwerk und dessen Enthüllung wie eine Theatervorstellung auf sich wirken zu lassen. Die Gemälde wurden auf Fußgestellen, die etwa einen halben Meter hoch waren, aufgestellt und durch niedrige Absperrungen geschützt. Die Wände waren grün gestrichen, der Boden mit dunkelgrüner Leinwand ausgekleidet. Auf Wunsch der Boisserées wurde am Gebäude außerdem ein Blitzableiter montiert, um die Sammlung zu schützen.
Ab Mai 1819 war der Offizierspavillon täglich zwischen 11 und 14 Uhr für das Publikum geöffnet. Bertram führte die Besucher persönlich durch die Räume und suchte die Werke aus, die er zeigen wollte. Er enthüllte sie nach einleitenden Worten, versorgte die Besucher mit Hintergrundinformationen und würzte das Ganze mit zahlreichen Anekdoten.
Die Boisserées waren in jeder Hinsicht bemüht, ihre Sammlung einer breiten Öffentlichkeit zu präsentieren und als identitätsstiftendes nationales Kulturdenkmal bekannt zu machen. Zunächst planten sie einen eigenen Raum, in dem Künstler die Werke in Ruhe kopieren konnten. Im Oktober 1820 richteten sie im Pavillon eine lithografische Werkstatt unter der künstlerischen und technischen Leitung von Johann Nepomuk Strixner (1782-1855) ein, der mit der damals noch jungen Technik bereits gut vertraut war. Strixner veröffentlichte im Mai 1821 die erste Publikation mit drei Lithografien nach Werken dieser Sammlung. Diese erste Ausgabe war dem württembergischen König gewidmet – zweifellos in der festen Überzeugung, dass er die Sammlung eines Tages kaufen werde. Die Druckgrafiken waren von hoher technischer und künstlerischer Qualität. Geplant war, im Abstand von drei bis vier Monaten eine Lieferung mit je drei Lithografien nach Werken aus der Sammlung Boisserée herauszugeben. Die Produktion wurde nach dem Umzug der Sammlung nach München 1827 dort fortgesetzt.
Ein weiterer, völlig unerwarteter Erfolg für die Sammler waren die Besucherströme, die in den Pavillon kamen. Sulpiz Boisserée schilderte in seinen Tagebüchern, dass in Stuttgart nicht nur Gelehrte, Intellektuelle und Angehörige des Hofes die Sammlung besichtigten, sondern auch einfache Leute aus Stuttgart und sogar Bauern aus dem Umland. Dies erstaunt angesichts der pietistisch geprägten Bevölkerung, die in der Sammlung mit katholischen Wertvorstellungen konfrontiert wurde. Offensichtlich sprach sie jedoch gerade der religiöse Gehalt der Bilder stark an. Täglich kamen 60 bis 100 Besucher aus allen Gesellschaftsschichten. Die breite Akzeptanz zeigt, dass die Ausstellung der Sammlung Boisserée in Stuttgart dem Konzept eines modernen, der ganzen Bevölkerung zugänglichen Museums sehr nahekam.
Über die Gründe, warum König Wilhelm I. die Sammlung nicht in Stuttgart halten wollte, ist in Fachkreisen viel diskutiert worden. Der erst 1816 zum König von Württemberg gekrönte Wilhelm I. hatte durchaus ein starkes Interesse an bildender Kunst und sammelte selbst ab 1820 Kunstwerke. Seine Sammlungsschwerpunkte lagen jedoch eher bei der klassischen italienischen Kunst, deren Werke er auch häufig von zeitgenössischen Künstlern in Rom oder Paris kopieren ließ. Bedingung war dabei nur, dass man ihm keine „geschundenen Heiligen“ oder Ähnliches anbot; sein persönlicher Geschmack galt eher dem Motiv der Venus oder anderen mythologischen Frauengestalten. Ein weiterer Schwerpunkt lag bei regionalen Künstlern und Sujets, insbesondere der Landschaftsmalerei. Parallel zur Ausstellung der Sammlung Boisserée in Stuttgart stattete er das 1824 neu erbaute Schloss Rosenstein mit seiner privaten Gemäldesammlung aus. Dort war die königliche Sammlung ebenfalls öffentlich zugänglich.
Zugleich ließ sich König Wilhelm I. bei der Frage des Ankaufs durch Stuttgarter Künstler beraten, die eher dem Klassizismus zuneigten und ein negatives Urteil über diese Sammlung abgaben. Daher verfügte der König am 22. Februar 1826, den Sammlern mitzuteilen, dass ein Ankauf nicht möglich sei. Der häufig in diesem Zusammenhang kolportierte Ausspruch des Landtagsabgeordneten Ludwig Peter Damian Mosthaf (1774-1851): „Mir brauchet koi Kunscht, mir brauchet Krumbiera“ ist historisch nicht sicher belegt; daher bleibt derzeit ungeklärt, ob dieser Ausspruch so gefallen ist und ob er sich auf den Ankauf der Kunstsammlung oder den Bau des Antikensaals bezog.
Obwohl die Sammlung im Jahr darauf nach Bayern abwanderte, hinterließ sie in Stuttgart Spuren. Der Tübinger Jurist Karl Gustav Abel (1798-1875) war von der Sammlung so beeindruckt, dass er eine eigene Sammlung altdeutscher Tafelmalerei anlegte, die vor allem altschwäbische Meister enthielt. Seine Sammlung, die etwa 400 Werke umfasste, wurde ab 1851 im Königlichen Schloss in Ludwigsburg ausgestellt und 1859 vom württembergischen König in Teilen angekauft. Über Umwege und mit einem Schwerpunkt auf schwäbischer Malerei kam somit 35 Jahre später doch noch eine Sammlung altdeutscher Meister in öffentlichen Besitz.
Ein Nachwirken der Sammlung Boisserée findet sich auch in der Literatur: Die Ausstellung in Stuttgart inspirierte den Schriftsteller Wilhelm Hauff zu einer romantischen Schauergeschichte. Er lebte von 1824 bis 1826 in Stuttgart als Hauslehrer, hat in dieser Zeit wohl die Sammlung Boisserée besucht und veröffentlichte 1826 die Novelle: „Die Bettlerin vom Pont des Arts“.
Ausgangspunkt der Erzählung ist der Besuch zweier Herren in dem Museum Boisserée, die sich in der Folge täglich vor dem Porträt einer jungen Dame treffen. Beide glauben, in dem Bildnis eine geliebte Frau zu erkennen, die sie vor Jahren aus den Augen verloren hatten. Das Gemälde selbst ist aber nachweislich über dreihundert Jahre alt. Tatsächlich handelte es sich um ein Bild der Salome von Lucas Cranach dem Älteren, das heute im Germanischen Nationalmuseum in Nürnberg zu sehen ist. Möglicherweise war Hauff nicht bekannt, dass der untere Teil mit dem Haupt Johannes des Täufers zu einem früheren Zeitpunkt abgeschnitten worden war, da die Darstellung wohl als zu schockierend empfunden wurde. Dass dieses als „Junge Dame mit Federhut“ beschriebene Porträt als Vorlage für eine doppelte Liebesgeschichte diente, entbehrt nicht der Ironie.