1959 übernahm Jürgen Rohwer die Leitung der Bibliothek für Zeitgeschichte. Er hatte im Zweiten Weltkrieg in der Kriegsmarine gedient und anschließend Geschichte, Geographie und Staatsrecht an der Universität Hamburg studiert und dort auch promoviert.

Als Historiker beschäftigte sich Rohwer zeitlebens vor allem mit militärischen Themen, insbesondere mit der Marine. Von 1954 bis 1959 arbeitete er als Geschäftsführer beim Arbeitskreis für Wehrforschung, dem er bis 1991 als Präses angehörte. In der Zeit von 1958 bis 1986 war er außerdem Hauptschriftleiter der in Fachkreisen renommierten Zeitschrift „Marine-Rundschau“. 1971 ernannte ihn die Universität Stuttgart zum Honorarprofessor. Rohwer veröffentlichte zahlreiche Arbeiten, insbesondere zur Marinegeschichte des Zweiten Weltkriegs. Er pflegte zudem ein enges Verhältnis zu Karl Dönitz, im Zweiten Weltkrieg Oberbefehlshaber der Kriegsmarine, den er bei der Herausgabe seiner Memoiren unterstützte.

Die Bibliothek für Zeitgeschichte erfuhr unter Rohwers Leitung mehrere große Erweiterungen. So baute er ein umfangreiches Archiv mit mehr als einer halben Million Fotos auf, die heutige Sondersammlung „Marine“. 1964 erwarb die Bibliothek außerdem das so genannte „Zarenarchiv“, eine bedeutende Sammlung von mehr als 10.000 Fotos aus dem Umfeld des letzten russischen Zaren Nikolaus II. Einen weiteren Sammelschwerpunkt bildeten Broschüren, Flugblätter und Plakate der Bewegungen, die aus der Studentenbewegung und der Außerparlamentarischen Opposition hervorgegangen waren. Für sie wurde 1972 die „Dokumentationsstelle für unkonventionelle Literatur“ eingerichtet, die heutige Sammlung „Neue Soziale Bewegungen“.

Als Direktor trug Rohwer maßgeblich dazu bei, dass sich die Bibliothek für Zeitgeschichte zu einer bedeutenden und international anerkannten Einrichtung der historischen Forschung entwickelte. Wesentlichen Anteil hieran hatten wissenschaftliche Veranstaltungen, die Rohwer zusammen mit Eberhard Jäckel in Stuttgart organisierte. Hierzu zählten die internationalen Kolloquien zur Rolle der Funkaufklärung im Zweiten Weltkrieg (1978), zur „Kriegswende Dezember 1941“ im Jahr 1981 sowie das X. Kolloquium der Internationalen Kommission für Militärgeschichte. Der Kongress „Der Mord an den europäischen Juden“ war 1984 die erste wissenschaftliche Tagung zum Holocaust in Deutschland. Zu seinem 80. Geburtstag fand 2004 ein Festkolloquium in Stuttgart statt.