NVLink: perché l'interconnessione tra GPU è fondamentale

Quando si addestra un modello di grandi dimensioni su più GPU, queste non lavorano in isolamento. Devono scambiarsi costantemente gradienti, attivazioni e, a volte, parametri.

La velocità di questi scambi dipende direttamente dall'interconnessione tra le GPU. In molti casi, non è solo la potenza di calcolo a limitare le prestazioni, ma anche la velocità con cui le GPU comunicano tra loro.

PCIe vs. NVLink

PCIe è l'interconnessione standard presente nella maggior parte delle workstation e dei server. Funziona molto bene per molti utilizzi, ma può diventare un collo di bottiglia quando si addestrano modelli di grandi dimensioni su più GPU.

NVLink, sviluppato da NVIDIA, è un'interconnessione ad alta velocità progettata per accelerare la comunicazione tra GPU.

Sulle GPU NVIDIA di generazione Hopper per data center (H100 e H200), NVLink può raggiungere fino a 900 GB/s di larghezza di banda bidirezionale per GPU.

Sulle recenti piattaforme Blackwell (GB200 NVL72), una nuova generazione di NVLink può raggiungere una larghezza di banda GPU-to-GPU di 1,8 TB/s per GPU.

Per semplificare:

PCIe = una tipica autostrada tra due città

NVLink = una linea ferroviaria ad alta velocità dedicata

Per carichi di lavoro ridotti, come l'inferenza di una singola immagine, PCIe può essere sufficiente. Ma per l'addestramento distribuito di modelli di grandi dimensioni, soprattutto con operazioni come all-reduce, la differenza diventa molto evidente.

Un esempio concreto: durante l'addestramento distribuito, le GPU devono sincronizzare i loro gradienti.

Con un modello di 70 miliardi di parametri in FP16, ciò rappresenta circa 140 GB di dati grezzi. A seconda della strategia utilizzata (parallelismo dei dati, parallelismo tensoriale, parallelismo della pipeline o Zero ROI), una parte significativa di questi dati potrebbe dover essere trasferita tra le GPU in ogni fase.

Su un'interconnessione lenta, questa comunicazione può comportare diversi secondi persi ad ogni iterazione.

Con NVLink, questo costo si riduce notevolmente. Di conseguenza, le GPU dedicano più tempo al calcolo e meno tempo all'attesa dei dati.

Errore comune

Un equivoco comune è che NVLink sia disponibile non appena si installano più GPU NVIDIA nella stessa macchina. Non è così.

NVLink dipende dal modello di GPU e dalla piattaforma.

Si trova principalmente sulle GPU per data center come V100, A100, H100 e H200, nonché su alcune schede professionali RTX/Quadro.

Nel mercato consumer, NVLink è gradualmente scomparso. Alcune schede, come la RTX 3090, dispongono ancora di un connettore NVLink, ma la RTX 4090 no.

Le GPU GeForce più recenti (serie 50, architettura Blackwell) comunicano in genere tramite PCIe, che può diventare un collo di bottiglia per la comunicazione collettiva come NCCL all-reduce.

Punto chiave: un cluster multi-GPU ad alte prestazioni non si basa semplicemente sull'aggiunta di potenti GPU. Si tratta di un'architettura completa in cui la comunicazione tra le GPU è importante quanto la pura potenza di calcolo.

Per l'inferenza leggera, PCIe potrebbe essere sufficiente.

Per l'addestramento distribuito di modelli di grandi dimensioni, NVLink può fare una differenza significativa.

Pertanto, la scelta giusta dipende non solo dalla GPU stessa, ma anche da come le GPU sono connesse tra loro.