Die dichte Besiedlung im alten Stadtkern von Koblenz zu Ende des 19. Jahrhunderts und die ständig wachsende Zahl der Einwohner machten die Erschließung von neuem Wohnraum erforderlich. Die Bevölkerung dehnte sich vor allem nach Süden aus. Im Zuge dieser Entwicklung entstanden aus den Pfarreien St. Kastor und Liebfrauen heraus die neuen Pfarreien St. Josef und Herz Jesu.
Die Grundsteinlegung für die Herz Jesu Kirche wurde am 18. Juni 1900 von Pfarrer Wenzeslaus Maximini vorgenommen. Gebaut wurde sie nach den Plänen des Architekten Ludwig Becker, dem späteren Mainzer Dombaumeister.
Bischof Michael Felix Korum von Trier konsekrierte die Herz Jesu Kirche am 19. Mai 1904.
Vierzig Jahre später wird der Kirchenbau im 2. Weltkrieg fast völlig zerstört. Die Koblenzer Architekten Hermann Meyer und Martin Ufer erstellten die Pläne für den Wiederaufbau, der allerdings erst in den Jahren von 1950 bis 1953 durchgeführt wurde.
Von 1977 bis 1979 wurde der Innenraum der Kirche neu gestaltet. In den 80-iger und 90-iger Jahren wurde eine umfassende Außenrenovierung vorgenommen.
Ein Schwelbrand in der Sakristei verursachte im Jahr der Bundesgartenschau 2011 enorme Schäden durch starke Rauchentwicklung im Kirchenraum. Die Kirche musste für die aufwändigen Sanierungs- bzw. Reinigungsarbeiten von April bis Anfang Dezember geschlossen bleiben.
Der mächtige Kirchenbau, heute an exponierter Stelle im Zentrum der Stadt, bietet sowohl den Andacht suchenden als auch den neugierigen Menschen Geborgenheit an Sonntagen und im Alltag.