Die von den Zeitgenossen als „Carls Hohe Schule“ bezeichnete Lehranstalt durchlief mehrere Entwicklungsphasen, in denen sich ihre Ausbildungsziele veränderten. Keimzelle der Hohen Karlsschule war eine Kunsthandwerkerschule für Gärtner und Stuckateure, die Herzog Karl Eugen am 5. Februar 1770 auf dem Gelände seines Lustschlosses Solitude eröffnete. Im Dezember 1770 wurde die Einrichtung zur „militärische Pflanzschule“ erhoben. Bereits in diesem Anfangsstadium prägten sich charakteristische Merkmale wie die Internatsunterbringung, der militärisch strukturierte Tagesablauf sowie die Uniformierung der ausschließlich männlichen Schüler aus. Mit der Leitung wurde Hauptmann Christoph Dionysius Seeger (1740-1808) betraut. Er regelte alle Angelegenheiten der Karlsschule in enger Absprache mit dem Herzog, der selbst als eigentlicher Schulleiter fungierte. Durch mehrfache Erweiterungen des Unterrichtsangebotes entwickelte sich die Einrichtung schließlich zu einer militärisch organisierten höheren Schule und wurde im März 1773 in „Militärakademie“ umbenannt. Neben verschiedenen Berufsgruppen für das Militär wie Offiziere, Festungsbautechniker und Ingenieure bildete die Akademie nun auch Verwaltungs- und Forstbeamte, Jäger, Juristen und Ärzte sowie bildende Künstler aus. Das Interesse der aufgeklärten Bildungsschichten an der herzoglichen Schule wuchs, sodass immer mehr Adlige und Offiziere ihre Söhne anmeldeten.
Vermutlich beabsichtigte Herzog Karl Eugen mit der vollständig von ihm abhängigen Bildungsanstalt, deren Schüler unter seinem persönlichen Einfluss standen, die Heranbildung einer neuen politischen und militärischen Führungsschicht im Herzogtum Württemberg. Hintergrund war, dass die bisherige Bildungselite des Landes in Opposition zu seiner absolutistischen Machtpolitik stand. Die Lehre an der Universität Tübingen wurde von einer einflussreichen protestantischen Beamtenschicht dominiert, die für das Gedankengut der Aufklärung wenig aufgeschlossen war. Dies missfiel dem Landesfürsten sowohl wegen seiner katholischen Glaubenszugehörigkeit als auch wegen seines aufgeklärten Herrschaftsverständnisses. Entsprechend war die Universität Tübingen gegenüber der konkurrierenden herzoglichen Lehranstalt von Beginn an feindselig eingestellt. Diese ablehnende Haltung verstärkte sich, nachdem die Karlsschule durch ein Diplom Kaiser Josefs II. im Februar 1782 zur Universität erhoben wurde. Die Umwandlung der ganz auf die Interessen des Herzogs zugeschnittenen Militärakademie in eine öffentliche Hochschule verlief zögerlich. Es wurden eine juristische, medizinische, philosophische, militärwissenschaftliche, ökonomische und eine Fakultät der Bildenden Künste eingerichtet, wobei die Hochschule nur in den drei erstgenannten Fakultäten über das Promotionsrecht verfügte. Mit Rücksicht auf die Universität Tübingen wurde auf einen theologischen Studiengang verzichtet. Der Herzog selbst übernahm das Amt des Rektors.
Der Status als Universität machte es erforderlich, die durch den Internatscharakter bis dahin nach außen fast vollständig abgeschlossene Schule stärker zu öffnen. Ab 1783 war es möglich, die Karlsschule als externer Student („Oppidaner“) zu besuchen. Im Vergleich mit anderen Universitäten waren die Vorlesungsgebühren gering, was zur Beliebtheit der Institution im In- und Ausland beitrug. Ein Teil der Studenten stammte aus niedrigen sozialen Schichten und wurde vollständig auf Kosten des Herzogs ausgebildet. In Bezug auf die Konfession der Schüler gab es keinerlei Beschränkungen, neben evangelisch-lutherischen und reformierten Studenten besuchten auch Katholiken, Russisch-Orthodoxe und sogar Juden die herzogliche Lehranstalt. Die bürgerliche Ständevertretung im Herzogtum Württemberg („Landschaft“) protestierte erfolglos gegen die neue Universität. Sie konnte ihren Einfluss allerdings soweit geltend machen, dass die herzogliche Hochschule nicht durch eine offizielle Stiftungsurkunde in der Landesverfassung verankert wurde. Als Karl Eugen 1793 verstarb, veranlasste sein Nachfolger Herzog Ludwig Eugen die Auflösung der Karlsschule, die daraufhin am 16. April 1794 ihre Pforten schloss.
Als eine von wenigen im Zeitalter der Aufklärung in Deutschland gegründeten Universitäten vertrat die Hohe Karlsschule eine anwendungsbezogene Wissenschaftskonzeption, in der der praktische Anschauungsunterricht eine wichtige Rolle spielte. Die Institution, an der einerseits akademisch geschulte Lehrkräfte und andererseits berufliche Praktiker unterrichteten, ist als Vorläufer der polytechnischen Hochschulen anzusehen. Einer der bedeutendsten Lehrer war der Philosoph Jakob Friedrich Abel (1751-1829), der sowohl aufgrund seines Charakters als auch seiner philanthropischen Pädagogik einen tiefen Eindruck bei seinen Studenten hinterließ. Die Ausbildung an der herzoglichen Lehranstalt basierte auf dem Leistungsprinzip und berücksichtigte die soziale Herkunft der Studenten nur in Bezug auf ihre Unterbringung. Einmal im Jahr wurden Prüfungen in allen Unterrichtsfächern abgehalten und die besten Absolventen mit Medaillen prämiert. Bürgerliche Schüler, die bei einer Jahrgangsprüfung vier oder mehr Preise erhielten, wurden in den akademischen Orden aufgenommen und adligen Schülern gleichgestellt. Im Kontrast zu den fortschrittlichen Lehrinhalten und Methoden stand die ständige Überwachung und Disziplinierung der Karlsschüler durch den in der Schule allgegenwärtigen militärischen Drill. Dieser wurde von vielen Zeitgenossen kritisiert und führte dazu, dass mehrere Zöglinge ihre Ausbildung vorzeitig abbrachen oder sogar aus der Lehranstalt flohen.
Unter den über 2.200 Schülern der Hohen Karlsschule waren zahlreiche spätere Politiker, Wissenschaftler, Militärs und Künstler, die nicht nur in Württemberg, sondern in ganz Deutschland und teilweise auch im Ausland wirkten. Der bekannteste Karlsschüler war der Schriftsteller Friedrich Schiller (1759-1805), der sich zwar mehrfach negativ über seine Schulzeit äußerte, im Rückblick aber ebenso die positiven Impulse schätzte, die er dort durch das vielseitige Bildungsangebot und den geistigen Austausch von Studenten unterschiedlicher Fachrichtungen erhalten hatte. Auch der französische Naturwissenschaftler Georges Cuvier (1769-1832), Mitbegründer des Naturgeschichtlichen Museums in Paris, sowie der klassizistische Bildhauer Johann Heinrich Dannecker (1758-1841) und der später in Rom lebende Landschaftsmaler Josef Anton Koch (1768-1838) waren Studenten der Stuttgarter Hochschule.
In ihrer Anfangsphase von 1770 bis 1775 befand sich die Hohe Karlsschule auf der Solitude. Die Lehr- und Schlafsäle sowie der Speisesaal waren provisorisch auf mehrere Nebengebäude der Schlossanlage verteilt. Da es keinen repräsentativen Festsaal gab, wurden die jährlichen Preisverleihungen im Lorbeersaal, dem prunkvollen Orangeriebau, veranstaltet. Ein monumentales Akademiegebäude am östlichen Rand der Gartenanlage, für das im Frühjahr 1772 der Grundstein gelegt wurde, ist nur als Planentwurf des herzoglichen Baumeisters Reinhard Ferdinand Heinrich Fischer (1746-1813) überliefert und wurde nie fertiggestellt.
Um der Schule mehr öffentliche Aufmerksamkeit zu verleihen, verlegte Karl Eugen die Akademie 1775 nach Stuttgart in die ehemalige „Untere Kaserne“ auf der Rückseite des Neuen Schlosses. Für den Umbau der Kaserne in eines der damals modernsten Schulgebäude stellte die Stadt Stuttgart 20.000 Gulden zur Verfügung. Der Gebäudekomplex bestand aus fünf Flügeln mit drei Innenhöfen. Der mittlere Innenhof diente vor allem den täglichen Exerzierübungen der Zöglinge. Im architektonisch hervorgehobenen Mitteltrakt des Bauwerkes befand sich im ersten Geschoss ein repräsentativer Hörsaal mit einer von Säulen getragenen Empore. In diesem Saal fanden die Schulfeste zum Stiftungstag und Preisverleihungen statt. Häufig lud Karl Eugen prominente Gäste dazu ein wie im Jahr 1779, als Herzog Karl August von Sachsen Weimar und Johann Wolfgang Goethe den Feierlichkeiten beiwohnten. Zu den schönsten Räumen im Akademiegebäude zählte außerdem der große Speisesaal im ersten Geschoss des östlichen Flügels, der mit Deckengemälden des Kunstprofessors Nicolas Guibal (1725-1784) sowie der beiden Malereischüler Philipp Friedrich Hetsch (1758-1838) und Viktor Heideloff (1757-1817) verziert war. Höhepunkt des von Architekt Fischer entworfenen Raumprogrammes war der als Rundraum mit einer Säulenkolonnade gestaltete herzogliche Speisesaal, der an den Speisesaal der Schüler angrenzte. Beheizbare Badezimmer für den Winter und eine eigene Krankenstation zeugten von den fortschrittlichen Hygieneeinrichtungen an der Schule. Trotz der auf engem Raum zusammenlebenden Zahl von über 400 Personen kam es nur zu wenigen Todesfällen unter den Schülern. Neben dem Schulgebäude befand sich ein Garten mit drei großen Wasserbecken, in welchem sich die Jugendlichen mit Ballspielen, Schwimmen und Kanufahren vergnügen konnten. Jeder Schüler erhielt außerdem ein kleines Stück Land, das er selbst bepflanzen durfte. Nach der Schließung der Karlsschule wurde das Schulgebäude für unterschiedliche Funktionen genutzt. Im ehemaligen Speisesaal befand sich beispielsweise der Lesesaal der Hofbibliothek.
Bei einem Bombenangriff auf Stuttgart im Februar 1944 wurden große Teile des Bauwerkes zerstört. Der als Ruine erhalten gebliebene Mitteltrakt wurde 1959 abgebrochen, um die dahinter verlaufende Konrad-Adenauer-Straße für den wachsenden Autoverkehr zu verbreitern. Heute erinnern noch die Bezeichnung „Akademiegarten“ sowie ein gusseiserner Brunnen, der in der Mitte des Innenhofes stand, an den ehemaligen Standort des Schulgebäudes, wobei der Brunnen erst 1811 errichtet wurde. Als einziges architektonisches Relikt ist das Giebelrelief eines Pavillons erhalten geblieben. Es ist heute als Spolie unter dem Gewölbebogen der zum „Akademiegarten“ führenden Treppe des Neuen Schlosses angebracht. Auf dem Gelände des ehemaligen Schulgartens steht heute der Landtag.