GeekRadar / Il banco di confronto

CONFRONTA.

GPU

AMD

Radeon Instinct MI325X

Processore grafico

Memoria video: Valore riportato 1: 288 GB^*
Valore riportato 2: 256 GB^*
Valore riportato 3: 256 GB^*
Bus di memoria: 8.192 bit^*
Banda di memoria nominale: 6.140 GB/s^*

Risultati dei benchmark

LLM Inference: llama.cpp Bench: llama-2-7b-Q4_0 (Q4_0) · versione non riportata · score22,41^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99 (Dummy) · versione non riportata · score3.596,28^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99 (fp8) · versione non riportata · score1.945,78^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99.9 (Dummy) · versione non riportata · score3.596,28^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: llama2-70b-99.9 (fp8) · versione non riportata · score1.945,78^* tokens/sPiattaforma non riportata Confronta i risultati
LLM Inference: MLPerf: mixtral-8x7b (fp8) · versione non riportata · score6.975,04^* tokens/sPiattaforma non riportata Confronta i risultati

Elaborazione e piattaforma

Architettura: CDNA 3.0^*
Nodo produttivo: 5 nm^*
Core GPU: 19.456^*
Frequenza base GPU: 1.000 MHz^*
Interfaccia grafica: PCIe 5.0 x16^*
Area del chip dichiarata: 1.017 mm²^*
Transistor: 153.000 million^*
Frequenza boost GPU: 2.100 MHz^*
Cache L2 GPU: 16 MB^*
Processore grafico: Aqua^*
Unità di texture mapping: 1.216^*
Unità di rasterizzazione: 0^*
Fonderia del chip: TSMC^*
Formato scheda o modulo: OAM Module^*
TDP GPU dichiarato: 1.000 W^*
Alimentatore di sistema suggerito: 1.400 W^*
Connettori di alimentazione esterni: None^*
OpenCL: 3.0^*

Memoria e archiviazione

Opzioni memoria: 288^*
Memoria video: Valore riportato 1: 288 GB^*
Valore riportato 2: 256 GB^*
Valore riportato 3: 256 GB^*
Tipo memoria video: Valore riportato 1: HBM3e^*
Valore riportato 2: HBM3e^*
Valore riportato 3: HBM3e^*
Valore riportato 4: HBM3e^*
Valore riportato 5: HBM3^*
Bus di memoria: 8.192 bit^*
Banda di memoria nominale: 6.140 GB/s^*

Specifiche di potenza

Potenza termica di progetto: 1.000 W^*

Configurazione di sistema

Specifiche dettagliate

Specifiche 1 · 22 campi

Architettura GPU — AMD Instinct MI325X — 256 GB HBM3E: CDNA 3^*
Picco teorico: BF16 tensoriale denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 1.307,4^* TFLOPS
Picco teorico: FP16 tensoriale denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 1.307,4^* TFLOPS
Picco teorico: FP32 senza unità tensoriali denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 163,4^* TFLOPS
Supporto hardware nativo: FP4 tensoriale — AMD Instinct MI325X — 256 GB HBM3E: No^*
Picco teorico: FP64 senza unità tensoriali denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 81,7^* TFLOPS
Picco teorico: FP64 tensoriale denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 163,4^* TFLOPS
Supporto hardware nativo: FP6 tensoriale — AMD Instinct MI325X — 256 GB HBM3E: No^*
Picco teorico: FP8 tensoriale denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 2.614,9^* TFLOPS
Picco teorico: INT8 tensoriale denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 2.614,9^* TOPS
Picco teorico: TF32 tensoriale denso per GPU — AMD Instinct MI325X — 256 GB HBM3E: 653,7^* TFLOPS
Configurazione fisica — AMD Instinct MI325X — 256 GB HBM3E: OAM^*
Banda dell’interconnessione GPU (Infinity Fabric) bidirezionale — AMD Instinct MI325X — 256 GB HBM3E: 896^* GB/s
Banda dell’interconnessione GPU per direzione — AMD Instinct MI325X — 256 GB HBM3E: 448^* GB/s
Numero di collegamenti Infinity Fabric — AMD Instinct MI325X — 256 GB HBM3E: 7^* links
Interfaccia PCIe dichiarata — AMD Instinct MI325X — 256 GB HBM3E: PCIe Gen 5 x16^*
Potenza massima della scheda — AMD Instinct MI325X — 256 GB HBM3E: 1.000^* W
Banda massima della memoria per GPU — AMD Instinct MI325X — 256 GB HBM3E: 6.000^* GB/s
Ampiezza dell’interfaccia di memoria per GPU — AMD Instinct MI325X — 256 GB HBM3E: 8.192^* bit
Capacità di memoria per GPU — AMD Instinct MI325X — 256 GB HBM3E: 256^* GB
Tecnologia della memoria — AMD Instinct MI325X — 256 GB HBM3E: HBM3E^*
Modello GPU — AMD Instinct MI325X — 256 GB HBM3E: AMD Instinct MI325X^*

Specifiche 2 · 44 campi

proc transistors

153,000 million^*

proc die size

1.017^* mm²

cores

19.456^*

base clock

1.000^*

boost clock

2.100^*

memory clock

2.525^*

ram

288^*

name

AMD Radeon Instinct MI325X^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (Dummy)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (Dummy)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99.9 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: llama2-70b-99 (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: MLPerf: mixtral-8x7b (fp8)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

test name Risultato benchmark grafico

LLM Inference: llama.cpp Bench: llama-2-7b-Q4_0 (Q4_0)^*

Ambito e condizioni

benchmark_context

suite: Per-row third-party test name^*
test_configuration_verified: No^*
comparable: No^*

ram type

HBM3e^*

bus width

8.192^*

bus interface

PCIe 5.0 x16^*

ram bandwidth

10.3 TB/s^*

fp16 performance

653,7^*

fp32 performance

81,72^*

fp64 performance

81,72^*