GeekRadar / Il banco di confronto

CONFRONTA.

GPU

NVIDIA

NVIDIA H100 SXM5 96 GB

Processore grafico

Memoria video: 96 GB^*
Bus di memoria: 5.120 bit^*
Banda di memoria nominale: 3.360 GB/s^*

Risultati dei benchmark

LLM Inference: llama.cpp Bench: llama 7B Q4_0 (Q4_0) · versione non riportata · score248,77^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: llama.cpp Bench: llama-2-7b-Q4_0 (Q4_0) · versione non riportata · score280,74^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99 (bfloat16) · versione non riportata · score2.631,93^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99 (fp8) · versione non riportata · score370,58^* tokens/sPiattaforma non riportata Confronta i risultati

Elaborazione e piattaforma

Architettura: Hopper^*
Nodo produttivo: 5 nm^*
Core GPU: 16.896^*
Interfaccia grafica: PCIe 5.0 x16^*
Area del chip dichiarata: 814 mm²^*
Transistor: 80.000 million^*
Cache L2 GPU: 50 MB^*
Processore grafico: GH100^*
Unità di texture mapping: 528^*
Unità di rasterizzazione: 24^*
Multiprocessori streaming: 132^*
Tensor core: 528^*
Fonderia del chip: TSMC^*
Formato scheda o modulo: SXM Module^*
TDP GPU dichiarato: 700 W^*
Alimentatore di sistema suggerito: 1.100 W^*
Connettori di alimentazione esterni: 8-pin EPS^*
OpenCL: 3.0^*
Compute capability CUDA: 9.0^*

Memoria e archiviazione

Opzioni memoria: 96^*
Memoria video: 96 GB^*
Tipo memoria video: HBM3^*
Bus di memoria: 5.120 bit^*
Banda di memoria nominale: 3.360 GB/s^*

Specifiche di potenza

Potenza termica di progetto: 700 W^*

Configurazione di sistema

Specifiche dettagliate

Specifiche 1 · 42 campi

proc transistors

80,000 million^*

proc die size

814^* mm²

cores

16.896^*

tensor cores

528^*

sm count

132^*

base clock

1.350^*

boost clock

1.980^*

memory clock

1.313^*

ram

96^*

name

NVIDIA H100 SXM5 96 GB^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (bfloat16)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: llama.cpp Bench: llama-2-7b-Q4_0 (Q4_0)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: llama.cpp Bench: llama 7B Q4_0 (Q4_0)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

ram type

HBM3^*

bus width

5.120^*

bus interface

PCIe 5.0 x16^*

ram bandwidth

3.36 TB/s^*

fp16 performance

267,6^*

fp32 performance

66,91^*

fp64 performance

33,45^*

score Risultato benchmark grafico

248,77^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

280,74^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

370,5775^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

2.631,93^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

tdp

700^* W

suggested psu

1.100^* W

slot width

SXM Module^*

power connectors

8-pin EPS^*

api cuda

9^*

is retail board

No^*

gpi value

57,94^*

unit Risultato benchmark grafico

tokens/s^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

unit Risultato benchmark grafico

tokens/s^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

unit Risultato benchmark grafico

tokens/s^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

unit Risultato benchmark grafico

tokens/s^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

vendor

nvd^*

manufacturer

NVIDIA^*

arch name

Hopper^*

card release date

2023-03-21^*

proc foundry

TSMC^*

proc process size

5^* nm

Specifiche 2 · 35 campi

Compute capability CUDA

9.0^*

OpenCL

3.0^*

Architettura

Hopper^*

Interfaccia grafica

PCIe 5.0 x16^*

Bus di memoria

5.120^* bit

Shader processor dichiarati

16.896^*

Picco teorico FP16 dichiarato

267,6^* TFLOPS

Ambito e condizioni

Densità del calcolo: Non specificata^*

Picco teorico FP32 dichiarato

66,91^* TFLOPS

Ambito e condizioni

Densità del calcolo: Non specificata^*

Picco teorico FP64 dichiarato

33,45^* TFLOPS

Ambito e condizioni

Densità del calcolo: Non specificata^*

Configurazione cache L1 dichiarata

256 KB (per SM)^*

Cache L2 GPU dichiarata

50 MB^*

Uscite video dichiarate

No outputs^*

Fill rate teorico dei pixel

47.52 GPixel/s^*

Connettori di alimentazione esterni

8-pin EPS^*

Area del chip dichiarata

814 mm²^*

Fonderia del chip

TSMC^*

Nodo produttivo dichiarato

5 nm^*

Transistor

80,000 million^*

Processore grafico

GH100^*

Memoria video dichiarata

96^* GB

Banda di memoria nominale

3.36 TB/s^*

Tipo memoria video

HBM3^*

Unità di rasterizzazione

24^*

Unità shader dichiarate

16.896^*

Formato scheda o modulo

SXM Module^*

Multiprocessori streaming

132^*

Alimentatore di sistema suggerito

1100 W^*

Sparsità tensoriale 2:4

Sì^*

TDP GPU dichiarato

700 W^*

Tensor core

528^*

Fill rate teorico delle texture

1,045.4 GTexel/s^*

Unità di texture mapping

528^*

Core GPU

16.896^*

Memoria video

96^* GB

Tipo memoria video

HBM3^*

* Dati provvisori