Non sono ancora disponibili benchmark associati a questa scheda.
Esecuzione locale
Inferenza · stima della memoria
granite-20b-code-instruct-8k
20,07 B parametri totali · gpt_bigcode · BF16
Payload dei tensori del checkpoint pubblicato: 37,4 GiB. Include copie archiviate e buffer; è distinto dalle stime di memoria runtime riportate di seguito.
Stime dei soli pesi: 16-bit: 37,4 GiB; 8-bit: 20,6 GiB; 4-bit: 10,3 GiB; La struttura della cache non è disponibile. Non sono requisiti GPU completi.