Scelta della mossa migliore in una variante di gioco non divulgata. Una prova circoscritta di ragionamento, non di intelligenza generale.
050100%
o1-miniNon disponibile
Matematica avanzata
FrontierMath Tiers 1-3 · 25%
Problemi matematici privati v2 con strumenti Python. Esclusi versioni precedenti e Tier 4.
050100%
o1-miniNon disponibile
Risposte fattuali
SimpleQA Verified · 25%
Risposte fattuali corrette con invito a tentare, valutate da un modello. Non misura allucinazioni o astensione.
050100%
o1-miniNon disponibile
Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
Arena text preference / chinesehuman preference · 2026-10-28 · rating
o1-mini
1.314,08 rating
Intervallo di confidenza: 1.303,89 – 1.324,26
4309 voti
Categoria
chinese
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-28 · rating
o1-mini
1.362,02 rating
Intervallo di confidenza: 1.354,67 – 1.369,38
8478 voti
Categoria
coding
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-28 · rating
o1-mini
1.243,97 rating
Intervallo di confidenza: 1.236,35 – 1.251,58
7858 voti
Categoria
creative_writing
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-28 · rating
o1-mini
1.340,07 rating
Intervallo di confidenza: 1.335,31 – 1.344,83
27352 voti
Categoria
english
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-28 · rating
o1-mini
1.262,45 rating
Intervallo di confidenza: 1.256,96 – 1.267,94
34410 voti
Categoria
exclude_ties
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-28 · rating
o1-mini
1.315,60 rating
Intervallo di confidenza: 1.303,96 – 1.327,23
3191 voti
Categoria
expert
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-28 · rating
o1-mini
1.293,45 rating
Intervallo di confidenza: 1.263,54 – 1.323,36
424 voti
Categoria
french
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-28 · rating
o1-mini
1.278,06 rating
Intervallo di confidenza: 1.259,95 – 1.296,18
1169 voti
Categoria
german
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-28 · rating
o1-mini
1.333,03 rating
Intervallo di confidenza: 1.327,06 – 1.338,99
13899 voti
Categoria
hard_prompts
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-28 · rating
o1-mini
1.351,26 rating
Intervallo di confidenza: 1.343,91 – 1.358,60
8369 voti
Categoria
hard_prompts_english
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-28 · rating