GeekRadar / Il banco di confronto

CONFRONTA.

GPU

NVIDIA

NVIDIA H200 SXM 141 GB

Processore grafico

Memoria video: 141 GB^*
Bus di memoria: 6.144 bit^*
Banda di memoria nominale: 4.890 GB/s^*

Risultati dei benchmark

Elaborazione e piattaforma

Architettura: Hopper^*
Nodo produttivo: 5 nm^*
Core GPU: 16.896^*
Interfaccia grafica: PCIe 5.0 x16^*
Area del chip dichiarata: 814 mm²^*
Transistor: 80.000 million^*
Cache L2 GPU: 60 MB^*
Processore grafico: GH100^*
Unità di texture mapping: 528^*
Unità di rasterizzazione: 24^*
Multiprocessori streaming: 132^*
Tensor core: 528^*
Fonderia del chip: TSMC^*
Formato scheda o modulo: SXM Module^*
TDP GPU dichiarato: 700 W^*
Alimentatore di sistema suggerito: 1.100 W^*
Connettori di alimentazione esterni: 8-pin EPS^*
OpenCL: 3.0^*
Compute capability CUDA: 9.0^*

Memoria e archiviazione

Opzioni memoria: 141^*
Memoria video: 141 GB^*
Tipo memoria video: HBM3e^*
Bus di memoria: 6.144 bit^*
Banda di memoria nominale: 4.890 GB/s^*

Specifiche di potenza

Potenza termica di progetto: 700 W^*

Configurazione di sistema

Specifiche dettagliate

Specifiche 1 · 26 campi

Architettura GPU — NVIDIA H200 SXM — 141 GB HBM3e

Hopper^*

Picco teorico calcolato: BF16 tensoriale denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

989,5^* TFLOPS

Ambito e condizioni

Calcolo: 1979 / 2^*

Picco teorico: BF16 tensoriale con sparsità per GPU — NVIDIA H200 SXM — 141 GB HBM3e

1.979^* TFLOPS

Picco teorico calcolato: FP16 tensoriale denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

989,5^* TFLOPS

Ambito e condizioni

Calcolo: 1979 / 2^*

Picco teorico: FP16 tensoriale con sparsità per GPU — NVIDIA H200 SXM — 141 GB HBM3e

1.979^* TFLOPS

Picco teorico: FP32 senza unità tensoriali denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

67^* TFLOPS

Supporto hardware nativo: FP4 tensoriale — NVIDIA H200 SXM — 141 GB HBM3e

No^*

Picco teorico: FP64 senza unità tensoriali denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

34^* TFLOPS

Picco teorico: FP64 tensoriale denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

67^* TFLOPS

Supporto hardware nativo: FP6 tensoriale — NVIDIA H200 SXM — 141 GB HBM3e

No^*

Picco teorico calcolato: FP8 tensoriale denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

1.979^* TFLOPS

Ambito e condizioni

Calcolo: 3958 / 2^*

Picco teorico: FP8 tensoriale con sparsità per GPU — NVIDIA H200 SXM — 141 GB HBM3e

3.958^* TFLOPS

Picco teorico calcolato: INT8 tensoriale denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

1.979^* TOPS

Ambito e condizioni

Calcolo: 3958 / 2^*

Picco teorico: INT8 tensoriale con sparsità per GPU — NVIDIA H200 SXM — 141 GB HBM3e

3.958^* TOPS

Picco teorico calcolato: TF32 tensoriale denso per GPU — NVIDIA H200 SXM — 141 GB HBM3e

494,5^* TFLOPS

Ambito e condizioni

Calcolo: 989 / 2^*

Picco teorico: TF32 tensoriale con sparsità per GPU — NVIDIA H200 SXM — 141 GB HBM3e

989^* TFLOPS

Configurazione fisica — NVIDIA H200 SXM — 141 GB HBM3e

SXM^*

Banda dell’interconnessione GPU (NVLink 4) bidirezionale — NVIDIA H200 SXM — 141 GB HBM3e

900^* GB/s

Banda dell’interconnessione GPU per direzione — NVIDIA H200 SXM — 141 GB HBM3e

450^* GB/s

Ambito e condizioni

Calcolo: 900 / 2^*

Interfaccia PCIe dichiarata — NVIDIA H200 SXM — 141 GB HBM3e

PCIe Gen5: 128GB/s^*

Potenza massima della scheda — NVIDIA H200 SXM — 141 GB HBM3e

700^* W

Banda massima della memoria per GPU — NVIDIA H200 SXM — 141 GB HBM3e

4.800^* GB/s

Capacità di memoria per GPU — NVIDIA H200 SXM — 141 GB HBM3e

141^* GB

Memoria riportata in un esempio documentato del driver — NVIDIA H200 SXM — 141 GB HBM3e

143.771^* MiB

Ambito e condizioni

Configurazione: Esempio del driver; non è la capacità nominale della VRAM.^*

Tecnologia della memoria — NVIDIA H200 SXM — 141 GB HBM3e

HBM3e^*

Modello GPU — NVIDIA H200 SXM — 141 GB HBM3e

NVIDIA H200 SXM^*

Specifiche 2 · 72 campi

proc transistors

80,000 million^*

proc die size

814^* mm²

cores

16.896^*

tensor cores

528^*

sm count

132^*

base clock

1.500^*

boost clock

1.980^*

memory clock

1.593^*

ram

141^*

name

NVIDIA H200 SXM 141 GB^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-interactive-99.9 (fp16)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: gptj-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: deepseek-r1 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: gptj-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: mixtral-8x7b (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama3.1-8b (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama3.1-405b (fp16)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-interactive-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-interactive-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (UNSET)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama3.1-405b (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (fp16)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

ram type

HBM3e^*

bus width

6.144^*

bus interface

PCIe 5.0 x16^*

ram bandwidth

4.89 TB/s^*

fp16 performance

267,6^*

fp32 performance

66,91^*

fp64 performance

33,45^*

score Risultato benchmark grafico

40,817125^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.113,10375^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

2.562,725^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

5.161,375^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

2.562,725^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.524,05^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

25,347^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

3.534,05^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

2.444,3375^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

2.422,625^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

7.131,8^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

2.444,3375^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

3.552,625^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.995,0125^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

tdp

700^* W

suggested psu

1.100^* W

slot width

SXM Module^*

power connectors

8-pin EPS^*

api cuda

9^*

is retail board

No^*

gpi value

67,38^*