Mit der Indienststellung von U - Hai, dem ehemaligen U 2365 der Kriegsmarine, am 15. August 1957 wurde mit dem Aufbau der dritten deutschen U-Boot-Waffe begonnen. Ihm folgte am 1. Oktober U - Hecht (ex. U 2367). Diese Boote des Typs XXIII wurden bei der Deutschen Werft Hamburg gebaut, am 8.5. (U 2365) und am 5.5.1945 im Kleinen bzw. im Großen Belt von den eigenen Besatzungen versenkt. Am 1. September 1960 wurde U 2540, ein Typ XXI-Boot (am 2.5.1945 nahe Flensburg-Feuerschiff nach Fliegerangriff von der eigenen Besatzung versenkt), nach einer Gernaralüberholung bei den Howaldts-Werken als Schul-, Versuchs- und Erprobungsboot unter dem Namen Wilhelm Bauer in Dienst gestellt.

Am 20. März 1962 wurde das erste neue Boot, das dritte mit der Bezeichnung U 1 in Kiel in Dienst gestellt. Hierbei handelte es sich um die Klasse 201, eine Klasse von 350-t-Ubooten, die speziell für den Ostseeeinsatz gedacht waren. Probleme mit den aus amagnetischem Stahl erbauten Boote führten dazu, daß U 1 und U 2 bereits Mitte 1963 wieder außer Dienst gestellt wurden. Auch U 4 bis U 8 (Klasse 205) hatten Stahlprobleme, konnten jedoch durch Tauchbeschränkungen noch einige Jahre bei der U-Boot-Lehrgruppe als Schulboote eingesetzt werden. Die letzte Bauserie, U 9 - U 12 (Klasse 205) wurde zwischen 1967 und 1969 aus amagnetischen und jetzt auch korrosionsfestem Stahl gebaut und in Dienst gestellt. Die Qualität des Stahls wurde deutlich, als U 12 mit einem Handelsschiff kollidierte und dabei eine 4 x 2 x 1,5 m große Druckkörperbeule davontrug.

Am 19.April 1972 wurden mit U 13 und U 14 die ersten Boote der Klasse 206 in Dienst gestellt und das 3. U-Boot-Geschwader in†Eckernförde aufgestellt. In den nächsten drei Jahren folgten U 15 bis U 24 und im Februar 1975 der U-Boot-Tender Lech. Das 1. U-Boot-Geschwader in Kiel, das aus den Booten der Klasse 205 bestand, erhielt ab 1975 die Klasse 206-Boote U 25 - U 30. Von 1996 bis 1998 wurden die Boote U13/U14/U19/U20/U21 und U 27 außer Dienst gestellt.

Voraussichtlich im März 2004 soll mit U 31 ein neues Boot der Klasse 212A in Dienst gestellt werden. Hierbei handelt es sich um das erste Boot einer vier Einheiten umfassenden Klasse mit außenluftunabhängigen Wasserstoff-Brennstoffzellen-Antrieb.