GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati
AMD

8 × AMD Instinct MI355X 288GB HBM3e

Sistema testato

Processore
AMD EPYC 9575F
Grafica
AMD Instinct MI355X 288GB HBM3e
Numero acceleratori
8
Nodi
1

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / dlrm-v3Offline · v6.1 · Samples/s

8 × AMD Instinct MI355X 288GB HBM3e

13.027,70* Samples/s

Accuratezza obiettivo / risultato
DLRM_NE: 0.8681176645656181 DLRM_ACC: 0.6963383089448092 DLRM_AUC: 0.7862169525257562
Precisione dei pesi
fp16,bf16,fp8
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS
MLPerf Inference / dlrm-v3Server · v6.1 · Queries/s

8 × AMD Instinct MI355X 288GB HBM3e

12.198,80* Queries/s

Accuratezza obiettivo / risultato
DLRM_NE: 0.8681164332983042 DLRM_ACC: 0.696331698458935 DLRM_AUC: 0.786212286822123
Precisione dei pesi
fp16,bf16,fp8
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS
MLPerf Inference / gpt-oss-120bOffline · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

121.818* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 83.706
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS
MLPerf Inference / gpt-oss-120bServer · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

113.241* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 83.451
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS
MLPerf Inference / llama2-70b-99.9Offline · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

106.517* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 44.5481 ROUGE2: 22.1846 ROUGEL: 28.9482 TOKENS_PER_SAMPLE: 283.2
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS
MLPerf Inference / llama2-70b-99.9Server · v6.1 · Tokens/s

8 × AMD Instinct MI355X 288GB HBM3e

103.275* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 44.5266 ROUGE2: 22.1733 ROUGEL: 28.9289 TOKENS_PER_SAMPLE: 284.2
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS
MLPerf Inference / wan-2.2-t2v-a14bOffline · v6.1 · Samples/s

8 × AMD Instinct MI355X 288GB HBM3e

0,07* Samples/s

Accuratezza obiettivo / risultato
vbench_score: 69.8899
Precisione dei pesi
bf16, fp8, fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS
MLPerf Inference / wan-2.2-t2v-a14bSingleStream · v6.1 · Latency (s)

8 × AMD Instinct MI355X 288GB HBM3e

16,12* Latency (s)

Accuratezza obiettivo / risultato
vbench_score: 69.9691
Precisione dei pesi
bf16, fp8, fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
8
Nodi
1
Acceleratori totali
8
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Sistema operativo
Ubuntu 22.04.5 LTS

Elaborazione e piattaforma

Processore
AMD EPYC 9575F
Grafica
AMD Instinct MI355X 288GB HBM3e

Connettività e software

Sistema operativo
Ubuntu 22.04.5 LTS

Configurazione di sistema

Numero di core host riportato
64
Processori per nodo
8
Numero acceleratori
8
Nodi
1
Stack software
PyTorch 2.10.0+git8514f05, ROCm 7.2.2
Divisione del test
closed

* Dati provvisori