NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e · 16 totali

Sistema testato

Processore: AMD EPYC
Grafica: NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e
Numero acceleratori: 16
Nodi: 2

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / gpt-oss-120bOffline · v6.1 · Tokens/s

NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e · 16 totali

94.249,30^* Tokens/s

Accuratezza obiettivo / risultato: exact_match: 83.57105741751104
Precisione dei pesi: mxfp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 128
Processori per nodo: 2
Nodi: 2
Acceleratori totali: 16
Stack software: vLLM
Sistema operativo: Ubuntu 22.04

MLPerf Inference / gpt-oss-120bServer · v6.1 · Tokens/s

NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e · 16 totali

73.357,60^* Tokens/s

Accuratezza obiettivo / risultato: exact_match: 83.43465835281891
Precisione dei pesi: mxfp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 128
Processori per nodo: 2
Nodi: 2
Acceleratori totali: 16
Stack software: vLLM
Sistema operativo: Ubuntu 22.04

MLPerf Inference / llama2-70b-99.9Offline · v6.1 · Tokens/s

NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e · 16 totali

99.683,80^* Tokens/s

Accuratezza obiettivo / risultato: ROUGE1: 44.4169 ROUGE2: 22.068 ROUGEL: 28.7957 TOKENS_PER_SAMPLE: 286.6
Precisione dei pesi: fp8,fp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 128
Processori per nodo: 2
Nodi: 2
Acceleratori totali: 16
Stack software: vLLM
Sistema operativo: Ubuntu 22.04

MLPerf Inference / llama2-70b-99.9Server · v6.1 · Tokens/s

NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e · 16 totali

95.104,60^* Tokens/s

Accuratezza obiettivo / risultato: ROUGE1: 44.6044 ROUGE2: 22.1926 ROUGEL: 28.9466 TOKENS_PER_SAMPLE: 284.7
Precisione dei pesi: fp8,fp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 128
Processori per nodo: 2
Nodi: 2
Acceleratori totali: 16
Stack software: vLLM
Sistema operativo: Ubuntu 22.04

MLPerf Inference / llama3.1-8bOffline · v6.1 · Tokens/s

NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e · 16 totali

163.292^* Tokens/s

Accuratezza obiettivo / risultato: ROUGE1: 38.5675 ROUGE2: 16.0757 ROUGEL: 24.5063 ROUGELSUM: 35.5154 GEN_LEN: 8141814
Precisione dei pesi: fp8,fp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 128
Processori per nodo: 2
Nodi: 2
Acceleratori totali: 16
Stack software: vLLM
Sistema operativo: Ubuntu 22.04

MLPerf Inference / llama3.1-8bServer · v6.1 · Tokens/s

NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e · 16 totali

161.110^* Tokens/s

Accuratezza obiettivo / risultato: ROUGE1: 38.6437 ROUGE2: 16.1045 ROUGEL: 24.5278 ROUGELSUM: 35.5601 GEN_LEN: 8147699
Precisione dei pesi: fp8,fp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 128
Processori per nodo: 2
Nodi: 2
Acceleratori totali: 16
Stack software: vLLM
Sistema operativo: Ubuntu 22.04

Elaborazione e piattaforma

Processore: AMD EPYC
Grafica: NVIDIA H200-SXM-141GB + AMD Instinct MI350X 288GB HBM3e

Connettività e software

Sistema operativo: Ubuntu 22.04

Configurazione di sistema

Numero di core host riportato: 128
Processori per nodo: 2
Numero acceleratori: 16
Nodi: 2
Stack software: vLLM
Divisione del test: closed

* Dati provvisori