GeekRadar / Il banco di confronto

CONFRONTA.

GPU

NVIDIA

NVIDIA H100 PCIe 80 GB

Processore grafico

Memoria video: 80 GB^*
Bus di memoria: 5.120 bit^*
Banda di memoria nominale: 2.040 GB/s^*

Risultati dei benchmark

LLM Inference: MLPerf: gptj-99 (fp8) · versione non riportata · score1.562,82^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: gptj-99.9 (fp8) · versione non riportata · score1.562,82^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99 (fp8) · versione non riportata · score1.222,48^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99.9 (fp8) · versione non riportata · score1.222,48^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: mixtral-8x7b (fp8) · versione non riportata · score3.466,13^* tokens/sPiattaforma non riportata Confronta i risultati

Elaborazione e piattaforma

Architettura: Hopper^*
Nodo produttivo: 5 nm^*
Core GPU: 14.592^*
Interfaccia grafica: PCIe 5.0 x16^*
Area del chip dichiarata: 814 mm²^*
Transistor: 80.000 million^*
Cache L2 GPU: 50 MB^*
Processore grafico: GH100^*
Unità di texture mapping: 456^*
Unità di rasterizzazione: 24^*
Multiprocessori streaming: 114^*
Tensor core: 456^*
Fonderia del chip: TSMC^*
Formato scheda o modulo: Dual-slot^*
TDP GPU dichiarato: 350 W^*
Alimentatore di sistema suggerito: 750 W^*
Connettori di alimentazione esterni: 1x 16-pin^*
OpenCL: 3.0^*
Compute capability CUDA: 9.0^*

Memoria e archiviazione

Opzioni memoria: 80^*
Memoria video: 80 GB^*
Tipo memoria video: HBM2e^*
Bus di memoria: 5.120 bit^*
Banda di memoria nominale: 2.040 GB/s^*

Specifiche di potenza

Potenza termica di progetto: 350 W^*

Configurazione di sistema

Specifiche dettagliate

Specifiche 1 · 21 campi

Architettura GPU — NVIDIA H100 PCIe — 80 GB HBM2e

Hopper^*

Picco teorico: BF16 tensoriale denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

756^* TFLOPS

Ambito e condizioni

Accumulazione: FP32^*

Picco teorico: FP16 tensoriale denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

756^* TFLOPS

Ambito e condizioni

Accumulazione: FP32^*

Picco teorico: FP32 senza unità tensoriali denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

51,2^* TFLOPS

Supporto hardware nativo: FP4 tensoriale — NVIDIA H100 PCIe — 80 GB HBM2e

No^*

Picco teorico: FP64 senza unità tensoriali denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

25,6^* TFLOPS

Picco teorico: FP64 tensoriale denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

51,2^* TFLOPS

Supporto hardware nativo: FP6 tensoriale — NVIDIA H100 PCIe — 80 GB HBM2e

No^*

Picco teorico: FP8 tensoriale denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

1.513^* TFLOPS

Ambito e condizioni

Accumulazione: FP32^*

Picco teorico: INT8 tensoriale denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

1.513^* TOPS

Picco teorico: TF32 tensoriale denso per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

378^* TFLOPS

Configurazione fisica — NVIDIA H100 PCIe — 80 GB HBM2e

PCIe (FHFL dual-slot)^*

Banda dell’interconnessione GPU (NVLink 4 (three NVLink bridges, two cards)) — NVIDIA H100 PCIe — 80 GB HBM2e

600^* GB/s

Interfaccia PCIe dichiarata — NVIDIA H100 PCIe — 80 GB HBM2e

PCI Express Gen5 x16^*

Potenza massima della scheda — NVIDIA H100 PCIe — 80 GB HBM2e

350^* W

Banda massima della memoria per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

2.000^* GB/s

Ampiezza dell’interfaccia di memoria per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

5.120^* bit

Capacità di memoria per GPU — NVIDIA H100 PCIe — 80 GB HBM2e

80^* GB

Memoria riportata in un esempio documentato del driver — NVIDIA H100 PCIe — 80 GB HBM2e

81.559^* MiB

Ambito e condizioni

Configurazione: Esempio del driver; non è la capacità nominale della VRAM.^*

Tecnologia della memoria — NVIDIA H100 PCIe — 80 GB HBM2e

HBM2e^*

Modello GPU — NVIDIA H100 PCIe — 80 GB HBM2e

NVIDIA H100 PCIe^*

Specifiche 2 · 45 campi

proc transistors

80,000 million^*

proc die size

814^* mm²

cores

14.592^*

tensor cores

456^*

sm count

114^*

base clock

1.095^*

boost clock

1.755^*

memory clock

1.593^*

ram

80^*

name

NVIDIA H100 PCIe 80 GB^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: mixtral-8x7b (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: gptj-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: gptj-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

ram type

HBM2e^*

bus width

5.120^*

bus interface

PCIe 5.0 x16^*

ram bandwidth

2.04 TB/s^*

fp16 performance

204,9^*

fp32 performance

51,22^*

fp64 performance

25,61^*

score Risultato benchmark grafico

1.562,8175^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.562,8175^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.222,48^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.222,48^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

3.466,125^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

tdp

350^* W

suggested psu

750^* W

slot width

Dual-slot^*

power connectors

1x 16-pin^*

api cuda

9^*

is retail board

No^*

gpi value

44,05^*