Seinen weiteren Lebensweg hatte sich Rommel Anfang 1974 ganz anders gedacht. Er wollte seine Karriere beim Land fortsetzen, wo er zeitweilig für Ministerpräsident Kurt-Georg Kiesinger, für den Innenminister und späteren Ministerpräsidenten Hans Filbinger sowie für Finanzminister Robert Gleichauf gearbeitet hatte. Er war Finanzstaatssekretär und strebte eine Landtagskandidatur an, um als Parlamentarischer Staatssekretär mehr Einfluss zu erlangen, als plötzlich der Wendepunkt kam.
Stuttgarts erster Nachkriegsoberbürgermeister Arnulf Klett starb unerwartet. Die CDU suchte einen Kandidaten für die Nachfolge, und der CDU-Landesvorsitzende Filbinger gab dem Parteifreund den Marschbefehl: Wenn er jetzt nicht antrete, werde er als Beamter beim Land versauern. Rommel zögerte, bevor er endlich doch zusagte.
Der Wahlkampf war schwierig. Der CDU-Kandidat brachte zwar viel Erfahrung aus dem Landesdienst mit, konnte zu kommunalen Detailfragen aber oft wenig sagen und überließ häufig SPD-Mitbewerber Peter Conradi das Reden. Die CDU-Wahlkampfleitung justierte die Kampagne nach. Manche setzten auf Rommels Namen und die Erinnerung der Menschen an den ehemaligen Generalfeldmarschall und „Wüstenfuchs“ Erwin Rommel. Das gefiel dem Kandidaten zwar nicht, dennoch kam der Slogan in Umlauf „OB wird nur oiner – dem Wüstenfuchs sein Kloiner“ („Oberbürgermeister wird nur einer – dem Wüstenfuchs sein Kleiner“). Im Lauf des weiteren Wahlkampfs kam Rommel zunehmend besser zur Geltung, und zwar in erster Linie mit klarer Kante: Versprechungen lehnte er ab oder stellte sie zumindest unter den Vorbehalt der Finanzierbarkeit. Im zweiten Wahlgang setzte er sich schließlich mit 58,9 % gegen Conradi (39,5 %) durch. Er wurde damit der zu diesem Zeitpunkt einzige CDU-OB in einer deutschen Großstadt mit mehr als 500.000 Einwohnern.
Zuerst fiel ihm der Umstieg auf die Kommunalpolitik schwer. Das sollte sich aber ändern. „Ich bin ungern Oberbürgermeister geworden, aber es immer gern gewesen“, sagte Rommel später häufig. Die Masse der Bürgerinnen und Bürger sah ihn zunehmend lieber auf dem OB-Sessel, obwohl er mit Mahnungen zum finanziellen Maßhalten und zur Erfüllung von Bürgerpflichten unbequem blieb. Andererseits pflegte er Humor und Selbstironie und brachte in Reimen und Aphorismen launig und schlitzohrig viele Probleme und Eigenheiten von Mensch und Politik auf den Punkt. Mit seinen Spruchsammlungen, Gedichten und politischen Texten in Buchform galt er lange Zeit als der Stuttgarter Autor mit den höchsten Auflagenzahlen. Die Wertschätzung der Bürger kam zum Ausdruck bei den Wahlen, bei denen er 1982 (mit 69,8 %) eine zweite Amtsperiode und 1990 (mit 71,7 %) eine dritte Amtsperiode übertragen bekam, jeweils gegen einen prominenten Herausforderer (1982 Ulrich Maurer/SPD, 1990 Rezzo Schlauch/Die Grünen).
Bei seinem Wirken im Rathaus waren ihm geordnete Finanzverhältnisse der Landeshauptstadt sowie die Pflege und Entwicklung des Wirtschaftsstandortes die maßgeblichen Anliegen. Kein Wunder: Als Finanzstaatsekretär war er der „Mann mit dem Rechenschieber“ genannt worden. Damit man finanzwirtschaftlich Kurs halten möge und die Demokratie sich nicht selbst diskreditiere, achtete er streng auf eine verlässliche Finanzplanung über das bevorstehende Haushaltsjahr hinaus.
Meilensteine in seiner Amtszeit als OB waren die Gründung des Verkehrs- und Tarifverbundes Stuttgart, die Aufnahme des S-Bahn-Verkehrs in Stuttgart, der Bau des Mineralbads Leuze, der Ausbau des Flughafens, die Entscheidung für das Stadtbahnsystem, die Ausrichtung der Leichtathletik-WM 1993, der Ausbau von Veranstaltungs- und Kongressflächen sowie neue Städtepartnerschaften mit Kairo, Lodz, Brünn und Samara.
Zu einer großen Herausforderung wurden die Wirtschaftskrise und der Strukturwandel in der ersten Hälfte der 1990er Jahre. Von 1992 bis 1997 verlor Stuttgart rund 45.000 Arbeitsplätze. Rommel reagierte auf den Beginn dieser Entwicklung, indem er mit den Gemeinderatsfraktionen ein Programm zur Konsolidierung des Stadthaushalts schmiedete. Etwa zur gleichen Zeit sah er sich mit der Notwendigkeit konfrontiert, den mehr als 10.000 nach Stuttgart strömenden Bürgerkriegsflüchtlingen aus dem ehemaligen Jugoslawien ein Dach über dem Kopf und Betreuung zu geben. Unter seiner Leitung stellte die Stadtverwaltung ein Konzept der dezentralen Unterbringung auf. Das „Stuttgarter Modell“ sollte garantieren, dass die Unterkünfte überschaubar bleiben und die Flüchtlinge ohne größere Spannungen zusammenleben.
Die Notwendigkeit und die Chancen der Integration von Ausländern hatte er schon früh erkannt. 1978 bereits formulierte er „Leitlinien der künftigen Ausländerpolitik“, in denen die ausländischen Einwohner als voll zu integrierender Teil der Wohnbevölkerung bezeichnet wurden. Das gilt in Stuttgart bis heute als Beginn einer engagierten Strategie der Integration und Rommel daher als Pionier auf diesem Gebiet. Früh forderte er für Ausländer die Möglichkeit der doppelten Staatsbürgerschaft in Deutschland und nahm dafür einen Konflikt mit seiner Partei in Kauf.
Die Toleranzfähigkeit seiner CDU hatte Rommel schon 1977 geprüft, als die Empörung über die terroristischen Verbrechen der Roten Armee Fraktion groß war. In den damaligen Septembertagen verteidigte er Schauspieldirektor Claus Peymann gegen heftige Kritik aus der CDU und schützte ihn vor der sofortigen Entlassung. Der Theatermann hatte einen Aushang am Schwarzen Brett zugelassen, mit dem die Mutter der mutmaßlichen Terroristin Gudrun Ensslin um Spenden für die Zahnbehandlung ihrer Tochter und deren Gefährten bat. Rommel bescheinigte dem Theatermann zwar, dass er ein „Virtuose der politischen Ungeschicklichkeit“ sei, verteidigte aber die Freiheit der Kunst. Das trug zu dem Ruf bei, er sei der letzte Liberale im Land.
Wenige Tage nach der Peymann-Affäre, im Oktober 1977, spitzten sich die Konflikte nach Selbstmorden von Terrorverdächtigen in der Justizvollzugsanstalt Stuttgart-Stammheim weiter zu. Der Vater von Gudrun Ensslin bat darum, seine tote Tochter zusammen mit den Leichnamen von Andreas Baader und Jan-Carl Raspe in einem Gemeinschaftsgrab beisetzen zu dürfen. Das Volk zürnte, Rommel aber sagte am 24. Oktober einen Satz, der in Deutschland und in der Welt viele aufhorchen ließ: „Irgendwo muss jede Feindschaft enden, und für mich endet sie in diesem Fall beim Tod.“ Am 27. Oktober fand die Beerdigung auf dem Dornhaldenfriedhof statt.
1989 geriet Rommel noch einmal in Konflikt mit Teilen der Bürgerschaft. Ein wirrer afrikanischer Flüchtling, der sich dem Zugriff der Polizei entziehen wollte, hatte in Stuttgart-Gaisburg zwei Beamte getötet. Der Volkszorn drohte sich pauschal gegen Flüchtlinge und besonders gegen Schwarze zu richten. Vor diesem Hintergrund sagte Rommel: „Der Täter hätte auch weiß sein können, er hätte auch ein Schwabe sein können.“
Häufig war er um Vermittlung und Aussöhnung bemüht. Unter dem Eindruck der Nazizeit und des Zweiten Weltkriegs hielt der OB engen Kontakt zu militärischen und zivilen Vertretern Großbritanniens, Frankreichs und der USA, aber auch zu Jerusalems Bürgermeister Teddy Kollek und jüdischen Organisationen. Bei Veranstaltungen mit dem Titel „Meet the Mayor“ empfing er in Stuttgart stationierte US-Soldaten. Das war seine Art, Dank abzustatten für den guten Start, den die Alliierten seiner Meinung nach dem westlichen Teil Deutschlands nach dem Krieg ermöglicht hatten. Dass die junge Demokratie aktiv erhalten und gestärkt werden müsse, war eine seiner wichtigsten Botschaften an seine Landsleute.
Diese Haltung entsprang eigenen Erfahrungen. Als junger Mensch war er selbst vom Nationalsozialismus infiziert gewesen. Im Alter von 15 Jahren, als er gerade Flakhelfer war, erlebte er am Familienwohnsitz in Herrlingen bei Ulm dann aber, wie Abgesandte des Diktators Adolf Hitler seinen Vater unter Druck setzten, sich mit Gift selbst zu töten. Der frühere Lieblingsoffizier des Diktators wurde beschuldigt, er sei Mitwisser der Pläne zum Attentat auf Hitler am 20. Juli 1944 gewesen. Erwin Rommel nahm das Gift, weil sein Leben nicht zu retten war, er damit jedoch seiner Familie die Sippenhaft ersparen konnte. Hitler ließ, um den Schein zu wahren, verbreiten, der populäre Kriegsheld sei den Folgen einer Kriegsverletzung erlegen, und inszenierte ein Staatsbegräbnis. Witwe und Sohn durften die Umstände von Erwin Rommels Tod nicht verraten. Diese Familientragödie hat Manfred Rommel nach eigenem Bekenntnis zeitlebens belastet.
In die Versuchung, sein OB-Amt für die Landespolitik aufzugeben, geriet er nach eigener Aussage nur einmal. Das war 1978, als Ministerpräsident Filbinger zurücktreten musste und die CDU den Nachfolger suchte. Nach einem kurzen, aber aufregenden Wettbewerb mit dem damaligen Innenminister Lothar Späth unterlag Rommel bei der Abstimmung in der CDU-Landtagsfraktion.
Das Rathaus verließ er erst nach 21 Jahren, als er die damals gültige Altersgrenze erreichte. Am 17. Dezember 1996, sieben Tage vor seinem 68. Geburtstag, wurde er von Bundeskanzler Helmut Kohl (CDU) im Opernhaus verabschiedet. Später absolvierte er noch manche Veranstaltungen und äußerte sich wiederholt zu seiner Parkinson-Erkrankung, die kurz vor seinem Abschied aus dem Rathaus diagnostiziert worden war. Dabei berichtete er, wie er mit der Schüttelkrankheit lebte, und versuchte Leidensgenossen Mut zu machen.
Die Erkrankung forderte zunehmend ihren Tribut. Ein Sturz infolge seiner eingeschränkten Beweglichkeit zwang Rommel schließlich ins Krankenhaus. Er starb am 7. November 2013. Am 14. November fand unter großer Anteilnahme der Öffentlichkeit in der Stiftskirche die Trauerfeier statt. Der Verstorbene fand seine letzte Ruhestätte in einem Ehrengrab auf dem Ostfilderfriedhof an seinem Wohnort in Stuttgart-Sillenbuch.
Im März 2014 beschloss der Gemeinderat, den Flughafen, um den Rommel sich verdient gemacht hatte, nach dem verstorbenen OB zu benennen.