SmolLM-135M

SmolLM-135M

0,13 B parametri totali · llama · F32

Payload dei tensori del checkpoint pubblicato: 0,5 GiB. Include copie archiviate e buffer; è distinto dalle stime di memoria runtime riportate di seguito.

Un utente, modello interamente nella memoria dell’acceleratore.

GPU con margine di memoria

• AMD Radeon RX 6400 · 4 GiB
• Intel Arc A310 · 4 GiB
• Intel Arc A310 Graphics · 4 GiB

Nessuna GPU in questa selezione ha memoria sufficiente con margine. Offloading e inferenza multi-GPU richiedono una valutazione distinta.

Sistemi per IA locale con margine di memoria

• AMD Ryzen AI Halo (Ryzen AI Max+ 395, 128 GB) Budget di memoria stimato: 96,0 GiB
• ASUS Ascent GX10 (128 GB) Budget di memoria stimato: 96,0 GiB
• Beelink GTR9 Pro (Ryzen AI Max+ 395, 128 GB) Budget di memoria stimato: 96,0 GiB
• Framework Desktop (Ryzen AI Max+ 395, 128 GB) Budget di memoria stimato: 96,0 GiB
• NVIDIA DGX Spark (128 GB) Budget di memoria stimato: 96,0 GiB

Nessun sistema per IA locale a catalogo soddisfa questa stima di memoria con il margine previsto.

Per i sistemi a memoria condivisa si considera il 75% della memoria installata, lasciando il 25% al sistema operativo e ad altre allocazioni. È un’ipotesi, non una misura della memoria assegnata alla GPU. I limiti di firmware e driver possono essere inferiori e richiedere configurazione. La corrispondenza di memoria non verifica runtime, pesi quantizzati o velocità di inferenza.

Include cache KV FP16, prompt e token generati, metadati di quantizzazione e margine runtime. Le GPU suggerite riservano il 10% della VRAM. La memoria sufficiente non garantisce velocità o compatibilità software: servono pesi quantizzati e supporto del runtime.