GeekRadar / Il banco di confronto

CONFRONTA.

GPU

NVIDIA

NVIDIA H100 SXM5 94 GB

Processore grafico

Memoria video: 94 GB^*
Bus di memoria: 5.120 bit^*
Banda di memoria nominale: 3.360 GB/s^*

Risultati dei benchmark

LLM Inference: MLPerf: gptj-99 (fp8) · versione non riportata · score1.693,47^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: gptj-99.9 (fp8) · versione non riportata · score1.693,47^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99 (fp8) · versione non riportata · score1.668,90^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99.9 (fp8) · versione non riportata · score2.106,08^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-interactive-99 (fp8) · versione non riportata · score1.380,19^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-interactive-99.9 (fp8) · versione non riportata · score1.380,19^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: mixtral-8x7b (fp8) · versione non riportata · score4.714,20^* tokens/sPiattaforma non riportata Confronta i risultati

Elaborazione e piattaforma

Architettura: Hopper^*
Nodo produttivo: 5 nm^*
Core GPU: 16.896^*
Interfaccia grafica: PCIe 5.0 x16^*
Area del chip dichiarata: 814 mm²^*
Transistor: 80.000 million^*
Cache L2 GPU: 50 MB^*
Processore grafico: GH100^*
Unità di texture mapping: 528^*
Unità di rasterizzazione: 24^*
Multiprocessori streaming: 132^*
Tensor core: 528^*
Fonderia del chip: TSMC^*
Formato scheda o modulo: SXM Module^*
TDP GPU dichiarato: 700 W^*
Alimentatore di sistema suggerito: 1.100 W^*
Connettori di alimentazione esterni: 8-pin EPS^*
OpenCL: 3.0^*
Compute capability CUDA: 9.0^*

Memoria e archiviazione

Opzioni memoria: 94^*
Memoria video: 94 GB^*
Tipo memoria video: HBM3^*
Bus di memoria: 5.120 bit^*
Banda di memoria nominale: 3.360 GB/s^*

Specifiche di potenza

Potenza termica di progetto: 700 W^*

Configurazione di sistema

Specifiche dettagliate

Specifiche 1 · 6 campi

Architettura GPU — H100-SXM5 (94GB) — 94 GB: Hopper^*
Supporto hardware nativo: FP4 tensoriale — H100-SXM5 (94GB) — 94 GB: No^*
Supporto hardware nativo: FP6 tensoriale — H100-SXM5 (94GB) — 94 GB: No^*
Configurazione fisica — H100-SXM5 (94GB) — 94 GB: SXM5^*
Capacità di memoria per GPU — H100-SXM5 (94GB) — 94 GB: 94^* GB
Modello GPU — H100-SXM5 (94GB) — 94 GB: H100-SXM5 (94GB)^*

Specifiche 2 · 51 campi

proc transistors

80,000 million^*

proc die size

814^* mm²

cores

16.896^*

tensor cores

528^*

sm count

132^*

base clock

1.350^*

boost clock

1.980^*

memory clock

1.313^*

ram

94^*

name

NVIDIA H100 SXM5 94 GB^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: gptj-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-interactive-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-interactive-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: gptj-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: mixtral-8x7b (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

ram type

HBM3^*

bus width

5.120^*

bus interface

PCIe 5.0 x16^*

ram bandwidth

3.36 TB/s^*

fp16 performance

267,6^*

fp32 performance

66,91^*

fp64 performance

33,45^*

score Risultato benchmark grafico

1.693,4675^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.693,4675^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

2.106,075^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.668,9^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.380,1875^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.380,1875^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

4.714,2^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

tdp

700^* W

suggested psu

1.100^* W

slot width

SXM Module^*

power connectors

8-pin EPS^*

api cuda

9^*

is retail board

No^*

gpi value

57,75^*