GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati
HPE

4 × NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB

Sistema testato

Processore
AMD EPYC 9375F 32-Core Processor
Grafica
NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB
Numero acceleratori
4
Nodi
1

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / llama3.1-8b-edgeOffline · v6.1 · Tokens/s

4 × NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB

9.557,69* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 38.7947 ROUGE2: 16.0822 ROUGEL: 24.5817 ROUGELSUM: 35.7134 GEN_LEN: 8173143
Precisione dei pesi
fp4
Divisione
open
Tipo di sistema
edge
Disponibilità
available
Core per processore
32
Processori per nodo
1
Nodi
1
Acceleratori totali
4
Stack software
TensorRT 10.15.1.29, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4
MLPerf Inference / llama3.1-8b-edgeSingleStream · v6.1 · Latency (ms)

4 × NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB

1.203,79* Latency (ms)

Accuratezza obiettivo / risultato
ROUGE1: 38.7883 ROUGE2: 16.056 ROUGEL: 24.5055 ROUGELSUM: 35.724 GEN_LEN: 8183134
Precisione dei pesi
fp4
Divisione
open
Tipo di sistema
edge
Disponibilità
available
Core per processore
32
Processori per nodo
1
Nodi
1
Acceleratori totali
4
Stack software
TensorRT 10.15.1.29, CUDA 13.2
Sistema operativo
Ubuntu 24.04.4

Elaborazione e piattaforma

Processore
AMD EPYC 9375F 32-Core Processor
Grafica
NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB

Connettività e software

Sistema operativo
Ubuntu 24.04.4

Configurazione di sistema

Numero di core host riportato
32
Processori per nodo
1
Numero acceleratori
4
Nodi
1
Stack software
TensorRT 10.15.1.29, CUDA 13.2
Divisione del test
open

* Dati provvisori