GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati
HPE

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

Sistema testato

Processore
Intel(R) Xeon(R) 6787P
Grafica
NVIDIA RTX PRO 6000 Blackwell Server Edition
Numero acceleratori
8
Nodi
1

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / gpt-oss-120bOffline · v6.1 · Tokens/s

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

15.256* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 82.714
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
172
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4 LTS
MLPerf Inference / gpt-oss-120bServer · v6.1 · Tokens/s

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

14.581,70* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 82.341
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
172
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4 LTS
MLPerf Inference / llama2-70b-99.9Offline · v6.1 · Tokens/s

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

29.284,80* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 44.7216 ROUGE2: 22.3081 ROUGEL: 29.0908 TOKENS_PER_SAMPLE: 274.8
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
172
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4 LTS
MLPerf Inference / llama2-70b-99.9Server · v6.1 · Tokens/s

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

28.643,30* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 44.7706 ROUGE2: 22.352 ROUGEL: 29.1377 TOKENS_PER_SAMPLE: 272.0
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
172
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4 LTS
MLPerf Inference / llama3.1-8bOffline · v6.1 · Tokens/s

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

50.965,30* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 38.7974 ROUGE2: 16.0868 ROUGEL: 24.5879 ROUGELSUM: 35.7199 GEN_LEN: 8172782
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
172
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4 LTS
MLPerf Inference / llama3.1-8bServer · v6.1 · Tokens/s

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

49.523,30* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 38.7821 ROUGE2: 16.0772 ROUGEL: 24.5857 ROUGELSUM: 35.7074 GEN_LEN: 8172428
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
172
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4 LTS
MLPerf Inference / whisperOffline · v6.1 · Samples/s

8 × NVIDIA RTX PRO 6000 Blackwell Server Edition

19.278,30* Samples/s

Accuratezza obiettivo / risultato
ACCURACY: 97.88345689351618
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
172
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4 LTS

Elaborazione e piattaforma

Processore
Intel(R) Xeon(R) 6787P
Grafica
NVIDIA RTX PRO 6000 Blackwell Server Edition

Connettività e software

Sistema operativo
Ubuntu 24.04.4 LTS

Configurazione di sistema

Numero di core host riportato
172
Processori per nodo
2
Numero acceleratori
8
Nodi
1
Stack software
TensorRT 10.16.1.11, CUDA 13.2
Divisione del test
closed

* Dati provvisori