Meta-Llama-3.1-70B-Instruct

Meta-Llama-3.1-70B-Instruct

70,55 B parametri totali · llama · BF16

Payload dei tensori del checkpoint pubblicato: 131,4 GiB. Include copie archiviate e buffer; è distinto dalle stime di memoria runtime riportate di seguito.

Un utente, modello interamente nella memoria dell’acceleratore.

GPU con margine di memoria

• AMD Radeon PRO W7800 48GB · 48 GiB
• AMD Radeon PRO W7900 · 48 GiB
• AMD Radeon Pro W7900 Dual Slot · 48 GiB

Nessuna GPU in questa selezione ha memoria sufficiente con margine. Offloading e inferenza multi-GPU richiedono una valutazione distinta.

Sistemi per IA locale con margine di memoria

• NVIDIA Jetson AGX Orin Developer Kit (64 GB) Budget di memoria stimato: 48,0 GiB
• AMD Ryzen AI Halo (Ryzen AI Max+ 395, 128 GB) Budget di memoria stimato: 96,0 GiB
• ASUS Ascent GX10 (128 GB) Budget di memoria stimato: 96,0 GiB
• Apple Mac Studio (M5 Max 18-core CPU, 40-core GPU, 128 GB) Budget di memoria stimato: 96,0 GiB
• Beelink GTR9 Pro (Ryzen AI Max+ 395, 128 GB) Budget di memoria stimato: 96,0 GiB
• Dell Pro Precision with GB10 FCM1253 (128 GB, 2 TB) Budget di memoria stimato: 96,0 GiB

Nessun sistema per IA locale a catalogo soddisfa questa stima di memoria con il margine previsto.

Per i sistemi a memoria condivisa si considera il 75% della memoria installata, lasciando il 25% al sistema operativo e ad altre allocazioni. È un’ipotesi, non una misura della memoria assegnata alla GPU. I limiti di firmware e driver possono essere inferiori e richiedere configurazione. La corrispondenza di memoria non verifica runtime, pesi quantizzati o velocità di inferenza.

Include cache KV FP16, prompt e token generati, metadati di quantizzazione e margine runtime. Le GPU suggerite riservano il 10% della VRAM. La memoria sufficiente non garantisce velocità o compatibilità software: servono pesi quantizzati e supporto del runtime.