GeekRadar / Il banco di confronto
CONFRONTA.
Sistemi testati
Cisco

8 × NVIDIA B300-SXM-270GB

Sistema testato

Processore
Intel(R) Xeon(R) 6767P
Grafica
NVIDIA B300-SXM-270GB
Numero acceleratori
8
Nodi
1

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

MLPerf Inference / deepseek-r1Offline · v6.1 · Tokens/s

8 × NVIDIA B300-SXM-270GB

70.325,40* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 80.92525068368278 TOKENS_PER_SAMPLE: 3782.986326344576
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.14, CUDA 13.1
Sistema operativo
Ubuntu 24.04
MLPerf Inference / deepseek-r1Server · v6.1 · Tokens/s

8 × NVIDIA B300-SXM-270GB

66.171,60* Tokens/s

Accuratezza obiettivo / risultato
exact_match: 80.76572470373746 TOKENS_PER_SAMPLE: 3811.0783956244304
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.14, CUDA 13.1
Sistema operativo
Ubuntu 24.04
MLPerf Inference / llama3.1-8bOffline · v6.1 · Tokens/s

8 × NVIDIA B300-SXM-270GB

171.114* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 38.4898 ROUGE2: 15.9329 ROUGEL: 24.3413 ROUGELSUM: 35.6705 GEN_LEN: 8186559
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.14, CUDA 13.1
Sistema operativo
Ubuntu 24.04
MLPerf Inference / llama3.1-8bServer · v6.1 · Tokens/s

8 × NVIDIA B300-SXM-270GB

173.950* Tokens/s

Accuratezza obiettivo / risultato
ROUGE1: 38.4912 ROUGE2: 15.9156 ROUGEL: 24.3266 ROUGELSUM: 35.6593 GEN_LEN: 8186471
Precisione dei pesi
fp4
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.14, CUDA 13.1
Sistema operativo
Ubuntu 24.04
MLPerf Inference / whisperOffline · v6.1 · Samples/s

8 × NVIDIA B300-SXM-270GB

52.221,80* Samples/s

Accuratezza obiettivo / risultato
ACCURACY: 97.8263559104276
Precisione dei pesi
fp16
Divisione
closed
Tipo di sistema
datacenter
Disponibilità
available
Core per processore
64
Processori per nodo
2
Nodi
1
Acceleratori totali
8
Stack software
TensorRT 10.14, CUDA 13.1
Sistema operativo
Ubuntu 24.04

Elaborazione e piattaforma

Processore
Intel(R) Xeon(R) 6767P
Grafica
NVIDIA B300-SXM-270GB

Connettività e software

Sistema operativo
Ubuntu 24.04

Configurazione di sistema

Numero di core host riportato
64
Processori per nodo
2
Numero acceleratori
8
Nodi
1
Stack software
TensorRT 10.14, CUDA 13.1
Divisione del test
closed

* Dati provvisori