5 × NVIDIA RTX PRO 4500 Blackwell

Sistema testato

Processore: Intel(R) Xeon(R) 6787P
Grafica: NVIDIA RTX PRO 4500 Blackwell
Numero acceleratori: 5
Nodi: 1

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / llama3.1-8bOffline · v6.1 · Tokens/s

5 × NVIDIA RTX PRO 4500 Blackwell

12.017,70^* Tokens/s

Accuratezza obiettivo / risultato: ROUGE1: 38.7698 ROUGE2: 16.0132 ROUGEL: 24.5304 ROUGELSUM: 35.6924 GEN_LEN: 8178850
Precisione dei pesi: fp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 86
Processori per nodo: 2
Nodi: 1
Acceleratori totali: 5
Stack software: TensorRT 10.14, CUDA 13.1
Sistema operativo: Ubuntu 24.04

MLPerf Inference / llama3.1-8bServer · v6.1 · Tokens/s

5 × NVIDIA RTX PRO 4500 Blackwell

11.426,10^* Tokens/s

Accuratezza obiettivo / risultato: ROUGE1: 38.7615 ROUGE2: 16.0056 ROUGEL: 24.5235 ROUGELSUM: 35.6866 GEN_LEN: 8178120
Precisione dei pesi: fp4
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 86
Processori per nodo: 2
Nodi: 1
Acceleratori totali: 5
Stack software: TensorRT 10.14, CUDA 13.1
Sistema operativo: Ubuntu 24.04

MLPerf Inference / whisperOffline · v6.1 · Samples/s

5 × NVIDIA RTX PRO 4500 Blackwell

4.808,98^* Samples/s

Accuratezza obiettivo / risultato: ACCURACY: 97.83682442399383
Precisione dei pesi: fp16
Divisione: closed
Tipo di sistema: datacenter
Disponibilità: available
Core per processore: 86
Processori per nodo: 2
Nodi: 1
Acceleratori totali: 5
Stack software: TensorRT 10.14, CUDA 13.1
Sistema operativo: Ubuntu 24.04

Elaborazione e piattaforma

Processore: Intel(R) Xeon(R) 6787P
Grafica: NVIDIA RTX PRO 4500 Blackwell

Connettività e software

Sistema operativo: Ubuntu 24.04

Configurazione di sistema

Numero di core host riportato: 86
Processori per nodo: 2
Numero acceleratori: 5
Nodi: 1
Stack software: TensorRT 10.14, CUDA 13.1
Divisione del test: closed

* Dati provvisori