GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati
Dell_MangoBoost

32 × AMD Instinct MI300X 192GB HBM3 (x2x8) and AMD Instinct MI355X 288GB HBM3e (x2x8)

Sistema testato

Processore
AMD EPYC 9534 (on MI300X node) and AMD EPYC 9965 (on MI355X node)
Grafica
AMD Instinct MI300X 192GB HBM3 (x2x8) and AMD Instinct MI355X 288GB HBM3e (x2x8)
Numero acceleratori
32
Nodi
4

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / gpt-oss-120bOffline · v6.1 · Tokens/s

32 × AMD Instinct MI300X 192GB HBM3 (x2x8) and AMD Instinct MI355X 288GB HBM3e (x2x8)

285.454* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 84.250
Precisione dei pesi
fp8
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64(AMD EPYC 9534) and 192(AMD EPYC 9965)
Processori per nodo
2
Nodi
4
Acceleratori totali
32
Stack software
ROCm
Sistema operativo
Ubuntu 22.04.5 LTS (jammy)
MLPerf Inference / gpt-oss-120bServer · v6.1 · Tokens/s

32 × AMD Instinct MI300X 192GB HBM3 (x2x8) and AMD Instinct MI355X 288GB HBM3e (x2x8)

253.501* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 83.574
Precisione dei pesi
fp8
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64(AMD EPYC 9534) and 192(AMD EPYC 9965)
Processori per nodo
2
Nodi
4
Acceleratori totali
32
Stack software
ROCm
Sistema operativo
Ubuntu 22.04.5 LTS (jammy)

Elaborazione e piattaforma

Processore
AMD EPYC 9534 (on MI300X node) and AMD EPYC 9965 (on MI355X node)
Grafica
AMD Instinct MI300X 192GB HBM3 (x2x8) and AMD Instinct MI355X 288GB HBM3e (x2x8)

Connettività e software

Sistema operativo
Ubuntu 22.04.5 LTS (jammy)

Configurazione di sistema

Processori per nodo
2
Numero acceleratori
32
Nodi
4
Stack software
ROCm
Divisione del test
closed

* Dati provvisori