Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.
Esecuzione locale
Inferenza · stima della memoria
Qwen2.5-7B-Instruct
7,62 B parametri totali · qwen2 · BF16
Payload dei tensori del checkpoint pubblicato: 14,2 GiB. Include copie archiviate e buffer; è distinto dalle stime di memoria runtime riportate di seguito.
Memoria acceleratore stimata
Pesi
3,9 GiB
KV cache
0,2 GiB
Margine runtime
1,0 GiB
Un utente, modello interamente nella memoria dell’acceleratore.
Nessun sistema per IA locale a catalogo soddisfa questa stima di memoria con il margine previsto.
Per i sistemi a memoria condivisa si considera il 75% della memoria installata, lasciando il 25% al sistema operativo e ad altre allocazioni. È un’ipotesi, non una misura della memoria assegnata alla GPU. I limiti di firmware e driver possono essere inferiori e richiedere configurazione. La corrispondenza di memoria non verifica runtime, pesi quantizzati o velocità di inferenza.
Include cache KV FP16, prompt e token generati, metadati di quantizzazione e margine runtime. Le GPU suggerite riservano il 10% della VRAM. La memoria sufficiente non garantisce velocità o compatibilità software: servono pesi quantizzati e supporto del runtime. La cache usa un limite superiore prudente con attenzione completa.
Costo API
USD / mese
Stima per token di testo standard. Esclude imposte, cache, sconti batch e costi aggiuntivi per ragionamento e modalità multimediali. Limiti e disponibilità possono variare per provider.