GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati4 × NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB
Sistema testato
- Processore
- AMD EPYC 9375F 32-Core Processor
- Grafica
- NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB
- Numero acceleratori
- 4
- Nodi
- 1
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
MLPerf Inference / llama3.1-8b-edgeOffline · v6.1 · Tokens/s
4 × NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB
9.557,69* Tokens/s
- Accuratezza obiettivo / risultato
- ROUGE1: 38.7947 ROUGE2: 16.0822 ROUGEL: 24.5817 ROUGELSUM: 35.7134 GEN_LEN: 8173143
- Precisione dei pesi
- fp4
- Divisione
- open
- Tipo di sistema
- edge
- Disponibilità
- available
- Core per processore
- 32
- Processori per nodo
- 1
- Nodi
- 1
- Acceleratori totali
- 4
- Stack software
- TensorRT 10.15.1.29, CUDA 13.2
- Sistema operativo
- Ubuntu 24.04.4
MLPerf Inference / llama3.1-8b-edgeSingleStream · v6.1 · Latency (ms)
4 × NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB
1.203,79* Latency (ms)
- Accuratezza obiettivo / risultato
- ROUGE1: 38.7883 ROUGE2: 16.056 ROUGEL: 24.5055 ROUGELSUM: 35.724 GEN_LEN: 8183134
- Precisione dei pesi
- fp4
- Divisione
- open
- Tipo di sistema
- edge
- Disponibilità
- available
- Core per processore
- 32
- Processori per nodo
- 1
- Nodi
- 1
- Acceleratori totali
- 4
- Stack software
- TensorRT 10.15.1.29, CUDA 13.2
- Sistema operativo
- Ubuntu 24.04.4
Elaborazione e piattaforma
- Processore
- AMD EPYC 9375F 32-Core Processor
- Grafica
- NVIDIA RTX PRO 4500 Blackwell-PCIe-32GB
Connettività e software
- Sistema operativo
- Ubuntu 24.04.4
Configurazione di sistema
- Numero di core host riportato
- 32
- Processori per nodo
- 1
- Numero acceleratori
- 4
- Nodi
- 1
- Stack software
- TensorRT 10.15.1.29, CUDA 13.2
- Divisione del test
- open
0 selezionati Confronta 0
* Dati provvisori