granite-3.0-3b-a800m-instruct

Modello IA

Finestra di contesto: 4.096 tokens
Pesi aperti: Sì

Non sono ancora disponibili benchmark associati a questa scheda.

Esecuzione locale

Inferenza · stima della memoria

granite-3.0-3b-a800m-instruct

6,3 GiB di payload dei tensori del checkpoint · 3,37 B elementi dei tensori archiviati · BF16

I tensori archiviati possono includere buffer e copie di pesi condivisi. Il numero di parametri unici non è verificato. Le dimensioni del checkpoint non indicano la memoria necessaria per eseguire il modello.

Capacità

Finestra di contesto: 4.096 tokens
Pesi aperti: Sì
Licenza del modello: apache-2.0
Payload dei tensori del checkpoint: 6,29 GiB

Modalità di input

text

Modalità di output

text

Elaborazione e piattaforma

Architettura: granitemoe