Non sono ancora disponibili benchmark associati a questa scheda.
Esecuzione locale
Inferenza · stima della memoria
granite-34b-code-instruct-8k
33,72 B parametri totali · gpt_bigcode · BF16
Payload dei tensori del checkpoint pubblicato: 62,8 GiB. Include copie archiviate e buffer; è distinto dalle stime di memoria runtime riportate di seguito.
Stime dei soli pesi: 16-bit: 62,8 GiB; 8-bit: 34,5 GiB; 4-bit: 17,3 GiB; La struttura della cache non è disponibile. Non sono requisiti GPU completi.