GeekRadar / Il banco di confronto

CONFRONTA.

GPU

AMD

Radeon Instinct MI300X

Processore grafico

Memoria video: 192 GB^*
Bus di memoria: 8.192 bit^*
Banda di memoria nominale: 5.320 GB/s^*

Risultati dei benchmark

LLM Inference: llama.cpp Bench: llama-2-7b-Q4_0 (Q4_0) · versione non riportata · score232,92^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99 (fp8) · versione non riportata · score1.056,89^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99.9 (fp16) · versione non riportata · score1.739,53^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99.9 (fp8) · versione non riportata · score1.056,89^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99.9 (UNSET) · versione non riportata · score1.982,96^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama3.1-405b (fp16) · versione non riportata · score34,83^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama3.1-405b (UNSET) · versione non riportata · score30,43^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: mixtral-8x7b (fp8) · versione non riportata · score5.975,24^* tokens/sPiattaforma non riportata Confronta i risultati

Elaborazione e piattaforma

Architettura: CDNA 3.0^*
Nodo produttivo: 5 nm^*
Core GPU: 19.456^*
Frequenza base GPU: 1.000 MHz^*
Interfaccia grafica: PCIe 5.0 x16^*
Area del chip dichiarata: 1.017 mm²^*
Transistor: 153.000 million^*
Frequenza boost GPU: 2.100 MHz^*
Cache L2 GPU: 16 MB^*
Processore grafico: Aqua^*
Unità di texture mapping: 1.216^*
Unità di rasterizzazione: 0^*
Fonderia del chip: TSMC^*
Formato scheda o modulo: OAM Module^*
TDP GPU dichiarato: 750 W^*
Alimentatore di sistema suggerito: 1.150 W^*
Connettori di alimentazione esterni: None^*
OpenCL: 3.0^*

Memoria e archiviazione

Opzioni memoria: 192^*
Memoria video: 192 GB^*
Tipo memoria video: HBM3^*
Bus di memoria: 8.192 bit^*
Banda di memoria nominale: 5.320 GB/s^*

Specifiche di potenza

Potenza termica di progetto: 750 W^*

Configurazione di sistema

Specifiche dettagliate

Specifiche 1 · 22 campi

Architettura GPU — AMD Instinct MI300X — 192 GB HBM3: CDNA 3^*
Picco teorico: BF16 tensoriale denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 1.307,4^* TFLOPS
Picco teorico: FP16 tensoriale denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 1.307,4^* TFLOPS
Picco teorico: FP32 senza unità tensoriali denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 163,4^* TFLOPS
Supporto hardware nativo: FP4 tensoriale — AMD Instinct MI300X — 192 GB HBM3: No^*
Picco teorico: FP64 senza unità tensoriali denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 81,7^* TFLOPS
Picco teorico: FP64 tensoriale denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 163,4^* TFLOPS
Supporto hardware nativo: FP6 tensoriale — AMD Instinct MI300X — 192 GB HBM3: No^*
Picco teorico: FP8 tensoriale denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 2.614,9^* TFLOPS
Picco teorico: INT8 tensoriale denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 2.614,9^* TOPS
Picco teorico: TF32 tensoriale denso per GPU — AMD Instinct MI300X — 192 GB HBM3: 653,7^* TFLOPS
Configurazione fisica — AMD Instinct MI300X — 192 GB HBM3: OAM^*
Banda dell’interconnessione GPU (Infinity Fabric) bidirezionale — AMD Instinct MI300X — 192 GB HBM3: 896^* GB/s
Banda dell’interconnessione GPU per direzione — AMD Instinct MI300X — 192 GB HBM3: 448^* GB/s
Numero di collegamenti Infinity Fabric — AMD Instinct MI300X — 192 GB HBM3: 7^* links
Interfaccia PCIe dichiarata — AMD Instinct MI300X — 192 GB HBM3: PCIe Gen 5 x16^*
Potenza massima della scheda — AMD Instinct MI300X — 192 GB HBM3: 750^* W
Banda massima della memoria per GPU — AMD Instinct MI300X — 192 GB HBM3: 5.300^* GB/s
Ampiezza dell’interfaccia di memoria per GPU — AMD Instinct MI300X — 192 GB HBM3: 8.192^* bit
Capacità di memoria per GPU — AMD Instinct MI300X — 192 GB HBM3: 192^* GB
Tecnologia della memoria — AMD Instinct MI300X — 192 GB HBM3: HBM3^*
Modello GPU — AMD Instinct MI300X — 192 GB HBM3: AMD Instinct MI300X^*

Specifiche 2 · 50 campi

proc transistors

153,000 million^*

proc die size

1.017^* mm²

cores

19.456^*

base clock

1.000^*

boost clock

2.100^*

memory clock

2.525^*

ram

192^*

name

AMD Radeon Instinct MI300X^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (UNSET)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: llama.cpp Bench: llama-2-7b-Q4_0 (Q4_0)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (fp16)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: mixtral-8x7b (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama3.1-405b (fp16)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama3.1-405b (UNSET)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

ram type

HBM3^*

bus width

8.192^*

bus interface

PCIe 5.0 x16^*

ram bandwidth

10.3 TB/s^*

fp16 performance

653,7^*

fp32 performance

81,72^*

fp64 performance

81,72^*

score Risultato benchmark grafico

34,831125^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

30,431125^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.056,8925^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

5.975,2375^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

232,92^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.739,525^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.056,8925^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

score Risultato benchmark grafico

1.982,9625^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

tdp

750^* W

suggested psu

1.150^* W

slot width

OAM Module^*

is retail board

No^*

gpi value

94,1^*