Llama-Guard-3-8B

Modello IA Uscita Jul 23, 2024

Finestra di contesto: 128.000 tokens
Output massimo: 4.096 tokens
Pesi aperti: Sì

Non sono ancora disponibili benchmark associati a questa scheda.

Esecuzione locale

Inferenza · stima della memoria

Llama-Guard-3-8B

15,0 GiB di payload dei tensori del checkpoint · 8,03 B elementi dei tensori archiviati · BF16

I tensori archiviati possono includere buffer e copie di pesi condivisi. Il numero di parametri unici non è verificato. Le dimensioni del checkpoint non indicano la memoria necessaria per eseguire il modello.

Costo API

USD / mese

Token di input / meseToken di output / mese

Stima per token di testo standard. Esclude imposte, cache, sconti batch e costi aggiuntivi per ragionamento e modalità multimediali. Limiti e disponibilità possono variare per provider.

Llama-Guard-3-8B

Offerta del provider

Capacità

Finestra di contesto: 128.000 tokens
Output massimo: 4.096 tokens
Ragionamento: No
Uso di strumenti: No
Pesi aperti: Sì
Dati di addestramento fino a: 2023-12
Licenza del modello: llama3.1
Payload dei tensori del checkpoint: 14,96 GiB

Modalità di input

text

Modalità di output

text