Karl Friedrich Gerok wurde in Vaihingen an der Enz als Sohn eines Pfarrers geboren, wuchs aber in Stuttgart auf, wohin sein Vater versetzt wurde. Dort besuchte er das Gymnasium illustre, wo er u.a. von Gustav Schwab unterrichtet worden war. Beruflich folgte er dem Vater nach. Er studierte Theologie in Tübingen, wurde 1844 Pfarrer in Böblingen – im gleichen Jahr heiratetet er die Tübingerin Sophie Kapff – und kam 1849 zunächst an die Stuttgarter Hospitalkirche, 1851 dann an die Stiftskirche. Im darauffolgenden Jahr wurde er auch Dekan für den Amtsbezirk Stuttgart. 1862 wurde er schließlich an die Hospitalkirche versetzt, wobei ihm zugleich das Amt des Stadtdekans übertragen wurde. Sechs Jahre später (1868) wurde er Oberhofprediger und hat in diesem Amt König Karl und die Hofgemeinde als Seelsorger begleitet. Zugleich wurde er Mitglied des Konsistoriums. Entscheidend für Geroks Berufung zum Oberhofprediger dürfte gewesen sein, dass er als vorzüglicher Prediger wie auch als Dichter bekannt war. Politisch war er, zumindest nach 1866, preußenfreundlich gesinnt und für den Anschluss Württembergs an den Norddeutschen Bund.

Theologisch wird man Gerok als Vermittlungstheologen bezeichnen müssen, als einen der bedeutendsten Vertreter des im 19. Jahrhundert unternommenen Versuchs, zwischen Gegenwartskultur und biblischem Glauben zu vermitteln. Die Kultur war bestimmt von der deutschen Klassik, vor allem von Goethe, Schiller, Eichendorff und Jean Paul, die Gerok sehr verehrte. Das Vorbild der Klassiker beeinflusste seine Dichtung. Die erste Sammlung geistlicher Gedichte gab er 1857 unter dem Titel „Palmblätter“ heraus. Sie wurde, bis 1863 stets um weitere Gedichte vermehrt, immer wieder aufgelegt. Bis in die ersten Jahrzehnte des 20. Jahrhunderts hinein erschienen mehr als hundert Auflagen. Gerok war deshalb schon zu seinen Lebzeiten einer der erfolgreichsten Dichter deutscher Sprache.

Die „Palmblätter“ sind gegliedert in die Kapitel Heilige Worte, Heilige Zeiten, Heilige Berge und Heilige Wasser. Hierbei sind nicht nur biblische Bezüge maßgebend, sondern auch Alltägliches, wie das schwäbische „Grüß Gott!“, dem ebenfalls ein Gedicht gewidmet ist. Heilige Zeiten werden nicht nur durch das Kirchenjahr bestimmt, sondern ebenso durch die Jahreszeiten, den Tageslauf und wichtige Ereignisse des menschlichen Lebens. Gerok war damit bestrebt, christliche Gehalte in die klassische Formensprache zu bringen. Mit dem Untergang des Kulturprotestantismus, zu dessen Vertretern man Gerok zählen muss, durch den Ersten Weltkrieg, geriet auch seine Dichtung zunehmend in Vergessenheit.

Karl Gerok war ein beliebter Prediger. Von seiner Predigttätigkeit zeugt eine Reihe von ihm herausgegebenen Predigtbänden. Der erste Band, der einen Predigtjahrgang umfasst, erschien 1855. Ihm ging es nach eigenem Bekunden um eine verständliche, herzliche und praktische Predigt. Zur Verständlichkeit gehörte, zu Beginn das Thema und die Teile der Predigt anzugeben, wobei jedoch der Predigttext den Leitfaden bilden muss. Die gedruckt vorliegenden Predigten mit ihrer sorgfältigen, gewählten und verständlichen Sprache dürften mit den tatsächlich gehaltenen übereinkommen, da Gerok seine Predigten niederschrieb, um sie dann auswendig vorzutragen.

Der Krieg 1870/71, zu dessen Beginn man noch mit einem Einmarsch französischer Truppen in Süddeutschland gerechnet hatte, war von großem Einfluss auf Geroks Predigt und Dichtung. Der Sieg über Frankreich wurde als Gottesgericht gedeutet, als Zeichen der Erwählung des nun endlich geeinten deutschen Volkes. Selbstverständlich stand man damit in Deutschland nicht allein, ähnliche Vorstellungen waren auch in England und in den Vereinigten Staaten üblich. Gerok hat später seine vaterländischen Dichtungen, die im Zusammenhang mit dem Krieg entstanden, wie „Die Rosse von Gravelotte“ oder „Des deutschen Knaben Tischgebet“, gesammelt in einem mehrfach aufgelegten Bändchen mit dem Titel „Deutsche Ostern“ herausgegeben. Gemeint ist mit diesem Titel die Auferstehung der deutschen Nation.

Als Stuttgarter hat sich Gerok stets gefühlt. Die Stadt, deren Ehrenbürger er seit 1866 war, verdankt ihm anziehende Schilderungen aus den 1820er und 1830er Jahren in seinen 1875 erstmals erschienenen „Jugenderinnerungen“. Eines der schönsten Gedichte auf die Stadt ist sein „Gruß an Stuttgart“ aus dem Jahre 1867. Es beginnt mit den Versen:

Da liegst du nun im Sonnenglanz,
Schön wie ich je dich sah,
In deiner Berge grünem Kranz,
Mein Stuttgart, wieder da,
Liegst da, vom Abendgold umflammt,
Im Tale hingeschmiegt,
Gleichwie gefaßt in grünen Samt
Ein güldnes Kleinod liegt!

Gerok starb am 14. Januar 1890 in Stuttgart und wurde auf dem Pragfriedhof beerdigt. Das von Adolf Donndorf 1891 gestaltete Grabmal ist erhalten. Auf der Gänsheide im Stuttgarter Osten wurde 1897 eine Straße nach ihm benannt. An der Pischekstraße entstand 1880, dem Jahr, in dem ihm auch der persönliche Adel verliehen wurde, als Ausflugsgaststätte die „Geroksruhe“. Auf der gegenüberliegenden Seite der Straße errichtete der Verschönerungsverein Stuttgart 1891 eine gleichnamige Aussichts- und Schutzhütte. 1904 wurde die Anlage vergrößert und später mit einer Bronzeplakette mit dem Bildnis des Dichters versehen. Am Chor der Stuttgarter Schlosskirche erinnerte ein 1898 eingeweihtes, von Donndorf geschaffenes Denkmal an ihn. Dieses Denkmal wurde im Dritten Reich entfernt und ist seither verschollen. Ersetzt wurde es durch eine Bronzetafel, die 1950 am Eingang zur Empore der Schlosskirche angebracht wurde.