Qwen2.5-Coder (7B)

Capacità e preferenze

Capacità generale · ECI

Stima delle capacità basata su più benchmark. Punti di indice, non una percentuale; gli intervalli mostrano l’incertezza.

Qwen2.5-Coder (7B) 107,9^* Qwen2.5-Coder (7B) · Intervallo 95% 98,4–116,3

Esecuzione locale

Inferenza · stima della memoria

Qwen2.5-Coder (7B)

7,62 B^* parametri totali · qwen2^* · BF16^*

Payload dei tensori del checkpoint pubblicato: 14,2^* GiB. Include copie archiviate e buffer; è distinto dalle stime di memoria runtime riportate di seguito.

Precisione dei pesi Contesto totale Verifica una GPU Verifica un sistema per IA locale

Memoria acceleratore stimata5,1^* GiB

Pesi: 3,9^* GiB
KV cache: 0,2^* GiB
Margine runtime: 1,0^* GiB

Un utente, modello interamente nella memoria dell’acceleratore.

GPU con margine di memoria

Sistemi per IA locale con margine di memoria

NVIDIA Jetson Orin Nano Super Developer Kit (8 GB) Budget di memoria stimato: 6,0 GiB
NVIDIA Jetson AGX Orin Developer Kit (64 GB) Budget di memoria stimato: 48,0 GiB
AMD Ryzen AI Halo (Ryzen AI Max+ 395, 128 GB) Budget di memoria stimato: 96,0 GiB
ASUS Ascent GX10 (128 GB) Budget di memoria stimato: 96,0 GiB
Apple Mac Studio (M5 Max 18-core CPU, 40-core GPU, 128 GB) Budget di memoria stimato: 96,0 GiB
Beelink GTR9 Pro (Ryzen AI Max+ 395, 128 GB) Budget di memoria stimato: 96,0 GiB

Per i sistemi a memoria condivisa si considera il 75% della memoria installata, lasciando il 25% al sistema operativo e ad altre allocazioni. È un’ipotesi, non una misura della memoria assegnata alla GPU. I limiti di firmware e driver possono essere inferiori e richiedere configurazione. La corrispondenza di memoria non verifica runtime, pesi quantizzati o velocità di inferenza.

Include cache KV FP16, prompt e token generati, metadati di quantizzazione e margine runtime. Le GPU suggerite riservano il 10% della VRAM. La memoria sufficiente non garantisce velocità o compatibilità software: servono pesi quantizzati e supporto del runtime. La cache usa un limite superiore prudente con attenzione completa.

Capacità

Finestra di contesto: 32.768 tokens^*
Pesi aperti: Sì^*
Licenza del modello: apache-2.0^*
Parametri totali: 7,62 B^*
Payload dei tensori del checkpoint: 14,19 GiB^*

Modalità di input

text^*

Modalità di output

text^*

Elaborazione e piattaforma

Architettura: qwen2^*

Configurazione di sistema

Specifiche dettagliate

Specifiche 1 · 4 campi

Modalità di accesso: Open weights (unrestricted)^*
Pesi aperti: Sì^*
Organizzazione: Alibaba^*
Paese dell’organizzazione: China^*

Specifiche 2 · 1 campi

Architettura della memoria del checkpoint

Unique parameters: 7.615.616.512^*
Stored tensor elements: 7.615.616.512^*
Checkpoint tensor bytes: 15.231.233.024^*
Checkpoint data type: BF16^*
Architecture: qwen2^*
Context limit: 32.768^*
Transformer layers: 28^*
Key/value heads: 4^*
Attention head dimension: 128^*
Cache layout: full-attention-upper-bound^*

Specifiche 3 · 24 campi

Architettura: qwen2^*
Dropout di attenzione: 0,0^*
Funzione di attivazione: silu^*
Dimensione nascosta: 3.584^*
Dimensione feed-forward: 18.944^*
Livelli massimi della finestra: 28^*
Teste di attenzione: 28^*
Livelli transformer: 28^*
Teste key/value: 4^*
Epsilon normalizzazione RMS: 1,0e-6^*
Base RoPE: 1.000.000,0^*
Finestra di attenzione scorrevole: 131.072^*
Embedding delle parole condivisi: No^*
Tipo di dati del checkpoint: bfloat16^*
Attenzione scorrevole abilitata: No^*
Dimensione del vocabolario: 152.064^*
Finestra di contesto: 32.768^* tokens
Modalità di input del checkpoint: text^*
Licenza del checkpoint: apache-2.0^*
Modalità di output del checkpoint: text^*
Parametri totali: 7,615616512^* B
Byte dei tensori del checkpoint: 15.231.233.024^* bytes
Elementi dei tensori salvati: 7.615.616.512^* elements
Payload dei tensori del checkpoint: 14,185191^* GiB