GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati
HPE

8 × AMD Instinct MI355X 288GB HBM3e

Sistema testato

Processore
AMD EPYC 9575F
Grafica
AMD Instinct MI355X 288GB HBM3e
Numero acceleratori
8
Nodi
1

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / gpt-oss-120bOffline · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

117.355* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 83.687
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / gpt-oss-120bServer · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

108.836* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 83.864
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama2-70b-99.9Offline · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

102.991* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 44.5406 ROUGE2: 22.1922 ROUGEL: 28.9322 TOKENS_PER_SAMPLE: 284.2
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama2-70b-99.9Server · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

101.979* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 44.5325 ROUGE2: 22.1714 ROUGEL: 28.9308 TOKENS_PER_SAMPLE: 284.1
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama3.1-8bOffline · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

157.694* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 38.5626 ROUGE2: 16.0276 ROUGEL: 24.4431 ROUGELSUM: 35.699 GEN_LEN: 8151086
Precisione dei pesi
fp8
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama3.1-8bServer · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

148.118* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 38.5316 ROUGE2: 16.0159 ROUGEL: 24.4259 ROUGELSUM: 35.6716 GEN_LEN: 8162750
Precisione dei pesi
fp8
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / wan-2.2-t2v-a14bOffline · v6.1 · Samples/s

8 × AMD Instinct MI355X 288GB HBM3e

0,07* Samples/s

Accuratezza obiettivo / risultato
vbench_score: 70.1048
Precisione dei pesi
bf16, fp8, fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / wan-2.2-t2v-a14bSingleStream · v6.1 · Latency (s)

8 × AMD Instinct MI355X 288GB HBM3e

16,40* Latency (s)

Accuratezza obiettivo / risultato
vbench_score: 70.3025
Precisione dei pesi
bf16, fp8, fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)

Elaborazione e piattaforma

Processore
AMD EPYC 9575F
Grafica
AMD Instinct MI355X 288GB HBM3e

Connettività e software

Sistema operativo
Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)

Configurazione di sistema

Numero di core host riportato
64
Processori per nodo
2
Numero acceleratori
8
Nodi
1
Stack software
vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
Divisione del test
closed

* Dati provvisori