Hopper: le prestazioni dell'IA dipendono dall'intero sistema
Il lancio di H100 nel 2022 legava il calcolo specializzato alle reti, al progetto dei server e alla precisione numerica delle prestazioni dichiarate.
Il 22 marzo 2022 Nvidia presentò Hopper con un messaggio che andava oltre il nuovo acceleratore: un'intelligenza artificiale sempre più ambiziosa avrebbe richiesto computer progettati come sistemi coordinati. La GPU H100 ne era il componente centrale, ma reti, architettura dei server e precisione numerica facevano parte dell'annuncio fin dall'inizio.
Hardware progettato intorno ai modelli
L'annuncio di Hopper descriveva una H100 da 80 miliardi di transistor e un Transformer Engine destinato ad accelerare i modelli usati nell'elaborazione del linguaggio e in altre applicazioni. Hopper succedeva all'architettura Ampere di Nvidia.
Puntare sui transformer era una scelta progettuale significativa. Un processore generalista deve adattarsi a molti tipi di lavoro. L'accelerazione specializzata dedica invece risorse hardware a operazioni che ci si aspetta di ripetere spesso. Il vantaggio potenziale è una maggiore efficienza in quelle operazioni; il presupposto è che le applicazioni le sfruttino davvero.
Per questo l'incremento di velocità più vistoso pubblicizzato per un processore non va letto come un moltiplicatore universale. Preparazione dei dati, comunicazione, supporto software e struttura del modello possono influire sul lavoro completo. È una lettura tecnica dell'annuncio, non il risultato di un benchmark eseguito da GeekRadar.
Il server era parte della notizia
In un annuncio separato dedicato a DGX, Nvidia riuniva otto GPU H100 in un sistema DGX H100, collegate tramite NVLink. L'azienda dichiarava 32 petaflop con precisione FP8 e descriveva un'architettura più ampia capace di collegare fino a 256 GPU H100 attraverso NVLink Switch System.
L'indicazione della precisione conta. Un valore di prestazioni IA in FP8 descrive un particolare formato numerico; non è intercambiabile con un risultato convenzionale di calcolo scientifico a precisione superiore. Confrontare i numeri principali senza considerare formati e carichi di lavoro nasconderebbe più informazioni di quante ne chiarirebbe.
Lo stesso comunicato affrontava archiviazione, reti e software di gestione. Sono dettagli facili da trascurare durante il lancio di un chip, eppure anche un acceleratore potente resta fermo quando aspetta i dati. Il sistema deve alimentare le sue costose risorse di calcolo con lavoro utile.
Una piattaforma, senza garanzie automatiche sulle applicazioni
Per le organizzazioni che valutavano il lancio, le domande rilevanti comprendevano disponibilità dell'hardware, supporto dei modelli, grado di utilizzo e complessità operativa. Acquistare capacità di calcolo teorica non significava ottenere automaticamente un servizio utile. I gruppi di sviluppo avrebbero dovuto verificare se la piattaforma migliorasse i propri carichi di addestramento o inferenza.
Come passaggio storico, l'introduzione di Hopper rese particolarmente esplicito il ruolo dell'infrastruttura. Nvidia proponeva, insieme a un componente più veloce, un insieme interconnesso di tecnologie per carichi IA più grandi: GPU, collegamenti tra GPU e software circostante erano trattati come parti dello stesso sistema.
