GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati8 × AMD Instinct MI355X 288GB HBM3e
Sistema testato
- Processore
- AMD EPYC 9575F
- Grafica
- AMD Instinct MI355X 288GB HBM3e
- Numero acceleratori
- 8
- Nodi
- 1
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
MLPerf Inference / gpt-oss-120bOffline · v6.1 · Tokens/s
8 × AMD Instinct MI355X 288GB HBM3e
117.355* Tokens/s
- Accuratezza obiettivo / risultato
- exact_match: 83.687
- Precisione dei pesi
- fp4
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / gpt-oss-120bServer · v6.1 · Tokens/s
8 × AMD Instinct MI355X 288GB HBM3e
108.836* Tokens/s
- Accuratezza obiettivo / risultato
- exact_match: 83.864
- Precisione dei pesi
- fp4
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama2-70b-99.9Offline · v6.1 · Tokens/s
8 × AMD Instinct MI355X 288GB HBM3e
102.991* Tokens/s
- Accuratezza obiettivo / risultato
- ROUGE1: 44.5406 ROUGE2: 22.1922 ROUGEL: 28.9322 TOKENS_PER_SAMPLE: 284.2
- Precisione dei pesi
- fp4
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama2-70b-99.9Server · v6.1 · Tokens/s
8 × AMD Instinct MI355X 288GB HBM3e
101.979* Tokens/s
- Accuratezza obiettivo / risultato
- ROUGE1: 44.5325 ROUGE2: 22.1714 ROUGEL: 28.9308 TOKENS_PER_SAMPLE: 284.1
- Precisione dei pesi
- fp4
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama3.1-8bOffline · v6.1 · Tokens/s
8 × AMD Instinct MI355X 288GB HBM3e
157.694* Tokens/s
- Accuratezza obiettivo / risultato
- ROUGE1: 38.5626 ROUGE2: 16.0276 ROUGEL: 24.4431 ROUGELSUM: 35.699 GEN_LEN: 8151086
- Precisione dei pesi
- fp8
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / llama3.1-8bServer · v6.1 · Tokens/s
8 × AMD Instinct MI355X 288GB HBM3e
148.118* Tokens/s
- Accuratezza obiettivo / risultato
- ROUGE1: 38.5316 ROUGE2: 16.0159 ROUGEL: 24.4259 ROUGELSUM: 35.6716 GEN_LEN: 8162750
- Precisione dei pesi
- fp8
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / wan-2.2-t2v-a14bOffline · v6.1 · Samples/s
8 × AMD Instinct MI355X 288GB HBM3e
0,07* Samples/s
- Accuratezza obiettivo / risultato
- vbench_score: 70.1048
- Precisione dei pesi
- bf16, fp8, fp4
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
MLPerf Inference / wan-2.2-t2v-a14bSingleStream · v6.1 · Latency (s)
8 × AMD Instinct MI355X 288GB HBM3e
16,40* Latency (s)
- Accuratezza obiettivo / risultato
- vbench_score: 70.3025
- Precisione dei pesi
- bf16, fp8, fp4
- Divisione
- closed
- Tipo di sistema
- datacenter
- Disponibilità
- available
- Core per processore
- 64
- Processori per nodo
- 2
- Nodi
- 1
- Acceleratori totali
- 8
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
Elaborazione e piattaforma
- Processore
- AMD EPYC 9575F
- Grafica
- AMD Instinct MI355X 288GB HBM3e
Connettività e software
- Sistema operativo
- Ubuntu 22.04.5 LTS (kernel 5.15.0-186-generic)
Configurazione di sistema
- Numero di core host riportato
- 64
- Processori per nodo
- 2
- Numero acceleratori
- 8
- Nodi
- 1
- Stack software
- vLLM 0.22.0, PyTorch 2.10.0, ROCm 7.2.2
- Divisione del test
- closed
0 selezionati Confronta 0
* Dati provvisori