gemma-2-27b

Modello IA Uscita Jun 24, 2024

Pesi aperti: Sì

Capacità e preferenze

Capacità generale · ECI

Stima delle capacità basata su più benchmark. Punti di indice, non una percentuale; gli intervalli mostrano l’incertezza.

gemma-2-27b 122,1^* Gemma 2 27B · Intervallo 95% 115,8–124,1

Prestazioni dei modelli

Punteggio Radar: quattro test, peso uguale. Una sintesi sperimentale di queste prove, non una misura universale di intelligenza.

gemma-2-27b

Configurazione testata Punteggio Radar

Non valutato

1/4 test principali · prove insufficienti

1 risultati di benchmark per questa configurazione

Ragionamento scientifico

GPQA Diamond · 25%

Domande scientifiche di esperti; correzione rigorosa a scelta multipla. Il caso vale il 25%.

gemma-2-27b 36,5^*% Intervallo 95% appross.: 31,8–41,2% · 2025-01-27 · Risultato datato

Soluzione di problemi nuovi

Mystery Game Puzzles · 25%

Scelta della mossa migliore in una variante di gioco non divulgata. Una prova circoscritta di ragionamento, non di intelligenza generale.

gemma-2-27b Non disponibile

Matematica avanzata

FrontierMath Tiers 1-3 · 25%

Problemi matematici privati v2 con strumenti Python. Esclusi versioni precedenti e Tier 4.

gemma-2-27b Non disponibile

Risposte fattuali

SimpleQA Verified · 25%

Risposte fattuali corrette con invito a tentare, valutate da un modello. Non misura allucinazioni o astensione.

gemma-2-27b Non disponibile

Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.

Esecuzione locale

Inferenza · stima della memoria

gemma-2-27b

101,4 GiB di payload dei tensori del checkpoint · 27,23 B elementi dei tensori archiviati · F32

I tensori archiviati possono includere buffer e copie di pesi condivisi. Il numero di parametri unici non è verificato. Le dimensioni del checkpoint non indicano la memoria necessaria per eseguire il modello.

Capacità

Pesi aperti: Sì
Licenza del modello: gemma
Payload dei tensori del checkpoint: 101,43 GiB

Modalità di input

text

Modalità di output

text

* Dati provvisori