Erwin Petermann wurde 1904 in Stuttgart geboren. 1925 absolvierte er die 1. Lehrerdienstprüfung und Ergänzungsreifeprüfung und studierte von 1926 bis 1928 in München, Tübingen und Berlin Altphilologie, Kunstgeschichte und Archäologie. Das Studium musste er allerdings aus finanziellen Gründen nach dem fünften Semester abbrechen. Seit 1925 sammelte Petermann Zeichnungen, insbesondere politische Zeichnungen von George Grosz, die später bei einer seiner Verhaftungen konfisziert wurden.

1926 war er der KPD beigetreten und Mitglied der Roten Studentengruppe geworden. Von 1930 bis 1932 leitete er eine marxistische Arbeiterschule und war bis zum Machtantritt der Nationalsozialisten als Lehramtsanwärter an verschiedenen Volksschulen und höheren Schulen in Württemberg tätig. Wegen seiner politischen Einstellung erfolgte im März 1933 in Neuenstadt am Kocher seine Verhaftung. Am 1. Mai 1933 wurde er aus dem Gefängnis, am selben Tag aber auch aus dem Schuldienst entlassen. Im Juni/Juli 1934 wurde er erneut verhaftet; er saß zunächst im Polizeigefängnis Stuttgart, dann im Amtsgerichtsgefängnis in Stuttgart zusammen mit seiner Ehefrau Helene Petermann; beide wurden am 12. September 1934 entlassen. Die Verhaftungen fanden nach Aussage Petermanns aufgrund der Angaben der Brüder Eugen Wicker (1903-1971) und Alfons Wicker (1898-1966) statt. Die Brüder Wicker waren seit den 1920er Jahren in der KPD in Stuttgart aktiv, aber seit 1933 als Spitzel der württembergischen Politischen Polizei tätig und verrieten zahlreiche Mitglieder der KPD an die Polizei.

Am 10. Dezember 1936 verurteilte das Oberlandesgericht in Stuttgart Erwin Petermann in einem politischen Verfahren zu zwei Jahren Haft, die er in Ulm verbüßen musste. In den folgenden Jahren wurde er immer wieder verhaftet und verbrachte bis 1940 insgesamt drei Jahre und einen Monat in Gefängnissen, zuletzt im Konzentrationslager in Buchenwald 1939/40. Aus der Haft entlassen, fand er eine Anstellung bei der Firma Rudolf Külbel. Külbel, von Beruf Sattler und ebenfalls Kommunist, hatte 1933 eine Firma gegründet, die sich auf die Herstellung von Füllfederhalteretuis aus Leder spezialisierte; der Sitz der Firma lag seit 1934 in Kornwestheim, Karlstraße 39. Der Kontakt war vermutlich durch Helene Petermann, eine geborene Külbel, zustande gekommen. Im Verlauf des Zweiten Weltkrieges stellte die Firma auch Produkte aus Kunstleder für Rüstungszwecke, z.B. Patronentaschen, her.

Etwa 1938/39 nahm Petermann Kontakt zu Heinrich Theodor Musper (1895-1976) auf, dem Kurator der Graphischen Sammlung der Staatsgalerie Stuttgart, um dort Grafiken zu studieren und sich weiterzubilden. Musper betraute ihn mit Vorarbeiten zu einem Verzeichnis der Radierungen des württembergischen Malers und Grafikers Heinrich Seufferheld (1866-1940), dessen Werk er im Mai/Juni 1936 in einer Ausstellung gezeigt hatte.

Nach Kriegsende wurde Petermann am 21. Juli 1945 zum Leiter der Graphischen Sammlungen und Konservator der Staatsgalerie Stuttgart ernannt; Heinrich Theodor Musper als neuer Direktor der Staatsgalerie Stuttgart war nun sein Vorgesetzter. In diesen Jahren der Zusammenarbeit baute er nicht nur die Graphische Sammlung aus und erwarb – z.B. beim Kunsthaus Roman Norbert Ketterer in Stuttgart – gezielt Grafiken der Klassischen Moderne. Vielmehr beriet er auch Musper bei Ankäufen für die Gemäldesammlung und war treibende Kraft beim Ankauf der Sammlung des norwegischen Reeders Ragnar Moltzau 1959, die aus Werken der französischen Moderne bestand und für zehn Millionen D-Mark mit Toto-Lotto-Mitteln angekauft wurde. Nachdem Musper in den Ruhestand gegangen war, übernahm Petermann am 1. April 1962 kommissarisch die Leitung der Staatsgalerie.

Erst in diesem Moment wurde seine kommunistische Vergangenheit zu einem Thema für das Kultusministerium. Zwar war es dem Ministerium seit seiner Ernennung zum Hauptkonservator 1946 bekannt, dass er Mitglied der KPD gewesen war, aber erst mit der Übernahme des exponierten Postens als Direktor der Staatsgalerie wurde dies zu einem Problem. Während die KPD in der unmittelbaren Nachkriegszeit noch in zahlreichen Landtagen vertreten gewesen war, hatte die Adenauer-Regierung 1950 ein Berufsverbot für KPD-Mitglieder im Öffentlichen Dienst erlassen und 1951 die Feststellung der Verfassungswidrigkeit dieser Partei beantragt. Der Konflikt zwischen Bundesregierung und KPD spitzte sich zu und endete 1956 im Verbot der Partei.

Unter diesen veränderten politischen Rahmenbedingungen in den 1950er Jahren hielt es das Kultusministerium daher für nötig, vor der endgültigen Ernennung Petermanns Erkundigungen in seinem beruflichen Umfeld einzuziehen, um seine Verfassungstreue zu überprüfen – dabei war Petermann nach 1945 der KPD nicht wieder beigetreten. Zeitgleich wurde eine Anfrage an das Württembergische Landesamt für Verfassungsschutz gestellt, welches aber nichts Belastendes zu berichten hatte. Trotzdem zog sich die Ernennung Petermanns über ein Jahr hin, was in der Öffentlichkeit zu Irritationen führte. Am 26. April 1963 wurde Petermann schließlich offiziell zum Direktor der Staatsgalerie Stuttgart ernannt: Ein Mann ohne abgeschlossenes Studium, mit einer bewegten politischen Vergangenheit, aber mit einem untrüglichen Gespür für zeitgenössische Kunst, einer allseits anerkannten fachlichen Kompetenz, sehr guten Kontakten zum Kunstmarkt und besonderem Verhandlungsgeschick im Umgang mit Privatsammlern.

Auch als Direktor gelangen ihm sensationelle Ankäufe, insbesondere der Erwerb der Stuttgarter Sammlung Hugo Borst (1881-1967) mit über 360 Gemälden, Grafiken und Plastiken des deutschen Expressionismus, der französischen Moderne und der Stuttgarter Sezession. Petermann betonte die neue Funktion des Museums in den 1960er Jahren: Das Museum solle sich von einem Museum der Vergangenheit hin zu einer gegenwartsbezogenen Kunststätte entwickeln. In den wenigen Jahren seiner Amtszeit als Direktor gelang es ihm, dieses Konzept durch den Ankauf zeitgenössischer, teils umstrittener Werke umzusetzen. Als Beispiel sei hier der Ankauf eines Werkes des amerikanischen Künstlers Jackson Pollock (1912-1956) genannt.

Vom Kultusministerium des Landes Baden-Württemberg wurde Petermann 1966 zum Professor an einer Kunsthochschule ernannt. 1968 ging er in Pension und erhielt 1969 das Große Verdienstkreuz der Bundesrepublik Deutschland.