Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.
11901240
OLMo-2-0325-32B-Instruct
olmo-2-0325-32b-instruct · Intervallo 95% 1207,1–1228,7 · 3,334 voti · 2026-10-15
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
Arena text preference / chinesehuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.191,47 rating
Intervallo di confidenza: 1.155,64 – 1.227,31
229 voti
Categoria
chinese
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.209,91 rating
Intervallo di confidenza: 1.182,68 – 1.237,15
427 voti
Categoria
coding
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.198,39 rating
Intervallo di confidenza: 1.173,73 – 1.223,06
567 voti
Categoria
creative_writing
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.255,37 rating
Intervallo di confidenza: 1.242,39 – 1.268,35
2025 voti
Categoria
english
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.106,76 rating
Intervallo di confidenza: 1.089,65 – 1.123,88
2276 voti
Categoria
exclude_ties
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.207,60 rating
Intervallo di confidenza: 1.187,92 – 1.227,28
789 voti
Categoria
hard_prompts
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.243,53 rating
Intervallo di confidenza: 1.219,92 – 1.267,13
538 voti
Categoria
hard_prompts_english
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-15 · rating
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.224,48 rating
Intervallo di confidenza: 1.201,38 – 1.247,58
606 voti
Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.228,08 rating
Intervallo di confidenza: 1.187,80 – 1.268,36
202 voti
Categoria
industry_legal_and_government
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.239,47 rating
Intervallo di confidenza: 1.215,85 – 1.263,08
580 voti
Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.195,37 rating
Intervallo di confidenza: 1.165,54 – 1.225,19
336 voti
Categoria
industry_mathematical
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.181,68 rating
Intervallo di confidenza: 1.137,53 – 1.225,82
204 voti
Categoria
industry_medicine_and_healthcare
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.213,86 rating
Intervallo di confidenza: 1.192,44 – 1.235,28
740 voti
Categoria
industry_software_and_it_services
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.203,66 rating
Intervallo di confidenza: 1.184,30 – 1.223,02
872 voti
Categoria
industry_writing_and_literature_and_language
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.185,82 rating
Intervallo di confidenza: 1.168,60 – 1.203,04
1063 voti
Categoria
instruction_following
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / longer_queryhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.193,90 rating
Intervallo di confidenza: 1.160,05 – 1.227,75
261 voti
Categoria
longer_query
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.207,55 rating
Intervallo di confidenza: 1.179,36 – 1.235,74
375 voti
Categoria
math
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.221,22 rating
Intervallo di confidenza: 1.192,10 – 1.250,34
363 voti
Categoria
multi_turn
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.160,24 rating
Intervallo di confidenza: 1.144,15 – 1.176,33
1309 voti
Categoria
non_english
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.217,92 rating
Intervallo di confidenza: 1.207,14 – 1.228,69
3334 voti
Categoria
overall
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Arena text preference / russianhuman preference · 2026-10-15 · rating
OLMo-2-0325-32B-Instruct
1.186,84 rating
Intervallo di confidenza: 1.154,15 – 1.219,53
304 voti
Categoria
russian
Configurazione valutata
olmo-2-0325-32b-instruct
Tipo di valutazione
human preference
Esecuzione locale
Inferenza · stima della memoria
OLMo-2-0325-32B-Instruct
32,23 B parametri totali · olmo2 · BF16
Payload dei tensori del checkpoint pubblicato: 60,0 GiB. Include copie archiviate e buffer; è distinto dalle stime di memoria runtime riportate di seguito.
Memoria acceleratore stimata
Pesi
16,5 GiB
KV cache
1,0 GiB
Margine runtime
1,7 GiB
Un utente, modello interamente nella memoria dell’acceleratore.
Nessun sistema per IA locale a catalogo soddisfa questa stima di memoria con il margine previsto.
Per i sistemi a memoria condivisa si considera il 75% della memoria installata, lasciando il 25% al sistema operativo e ad altre allocazioni. È un’ipotesi, non una misura della memoria assegnata alla GPU. I limiti di firmware e driver possono essere inferiori e richiedere configurazione. La corrispondenza di memoria non verifica runtime, pesi quantizzati o velocità di inferenza.
Include cache KV FP16, prompt e token generati, metadati di quantizzazione e margine runtime. Le GPU suggerite riservano il 10% della VRAM. La memoria sufficiente non garantisce velocità o compatibilità software: servono pesi quantizzati e supporto del runtime.