NVLink: Warum die GPU-Verbindung so wichtig ist

Beim Training eines großen Modells auf mehreren GPUs arbeiten diese nicht isoliert. Sie müssen ständig Gradienten, Aktivierungen und mitunter auch Parameter austauschen.

Die Geschwindigkeit dieses Austauschs hängt direkt von der Verbindung zwischen den GPUs ab. In vielen Fällen ist nicht nur die Rechenleistung der limitierende Faktor, sondern auch die Geschwindigkeit der GPU-Kommunikation untereinander.

PCIe vs. NVLink

PCIe ist der Standard-Verbindungsstandard, der in den meisten Workstations und Servern zu finden ist. Er eignet sich hervorragend für viele Anwendungen, kann aber beim Training großer Modelle auf mehreren GPUs zum Flaschenhals werden.

NVLink, entwickelt von NVIDIA, ist eine Hochgeschwindigkeitsverbindung zur Beschleunigung der GPU-zu-GPU-Kommunikation.

Auf NVIDIA-GPUs der Hopper-Generation für Rechenzentren (H100 und H200) erreicht NVLink eine bidirektionale Bandbreite von bis zu 900 GB/s pro GPU.

Auf aktuellen Blackwell-Plattformen (GB200 NVL72) erreicht die neue Generation von NVLink eine GPU-zu-GPU-Bandbreite von 1,8 TB/s pro GPU.

Vereinfacht ausgedrückt:

PCIe entspricht einer typischen Autobahn zwischen zwei Städten.

NVLink hingegen einer dedizierten Hochgeschwindigkeitsstrecke.

Für geringe Arbeitslasten, wie die Inferenz eines einzelnen Bildes, mag PCIe ausreichen. Bei verteiltem Training großer Modelle, insbesondere mit Operationen wie All-Reduce, wird der Unterschied jedoch deutlich spürbar.

Ein konkretes Beispiel: Beim verteilten Training müssen die GPUs ihre Gradienten synchronisieren.

Bei einem Modell mit 70 Milliarden Parametern in FP16 entspricht dies etwa 140 GB Rohdaten. Abhängig von der verwendeten Strategie (Datenparallelität, Tensorparallelität, Pipeline-Parallelität oder Zero ROI) muss ein erheblicher Teil dieser Daten in jeder Phase zwischen den GPUs übertragen werden.

Bei einer langsamen Verbindung können dadurch pro Iteration mehrere Sekunden verloren gehen.

Mit NVLink werden diese Kosten deutlich reduziert. Dadurch verbringen GPUs mehr Zeit mit Berechnungen und weniger Zeit mit dem Warten auf Daten.

Häufiger Irrtum

Ein häufiger Irrtum ist, dass NVLink automatisch verfügbar ist, sobald mehrere NVIDIA-GPUs im selben Rechner installiert sind. Das ist nicht der Fall.

NVLink ist abhängig vom GPU-Modell und der Plattform.

Es findet sich hauptsächlich in Rechenzentrums-GPUs wie der V100, A100, H100 und H200 sowie in einigen professionellen RTX/Quadro-Karten.

Im Consumer-Markt ist NVLink nach und nach verschwunden. Einige Karten, wie die RTX 3090, verfügen noch über einen NVLink-Anschluss, die RTX 4090 jedoch nicht.

Neuere GeForce-GPUs (50er-Serie, Blackwell-Architektur) kommunizieren typischerweise über PCIe, was bei der gemeinsamen Kommunikation, wie z. B. NCCL All-Reduce, zu einem Flaschenhals werden kann.

Wichtigste Erkenntnis: Ein leistungsstarker Multi-GPU-Cluster erfordert mehr als nur leistungsstarke GPUs. Es geht um eine Gesamtarchitektur, bei der die Kommunikation zwischen den GPUs genauso wichtig ist wie die reine Rechenleistung.

Für einfache Inferenz kann PCIe ausreichend sein.

Für das verteilte Training großer Modelle kann NVLink einen entscheidenden Unterschied machen.

Die richtige Wahl hängt daher nicht nur von der GPU selbst ab, sondern auch von der Art der GPU-Verbindung.