Scelta della mossa migliore in una variante di gioco non divulgata. Una prova circoscritta di ragionamento, non di intelligenza generale.
050100%
o1-previewNon disponibile
Matematica avanzata
FrontierMath Tiers 1-3 · 25%
Problemi matematici privati v2 con strumenti Python. Esclusi versioni precedenti e Tier 4.
050100%
o1-previewNon disponibile
Risposte fattuali
SimpleQA Verified · 25%
Risposte fattuali corrette con invito a tentare, valutate da un modello. Non misura allucinazioni o astensione.
050100%
o1-previewNon disponibile
Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
Arena text preference / chinesehuman preference · 2026-10-28 · rating
o1-preview
1.325,46 rating
Intervallo di confidenza: 1.312,94 – 1.337,99
2763 voti
Categoria
chinese
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-28 · rating
o1-preview
1.366,35 rating
Intervallo di confidenza: 1.357,04 – 1.375,66
5123 voti
Categoria
coding
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-28 · rating
o1-preview
1.317,87 rating
Intervallo di confidenza: 1.307,91 – 1.327,84
4508 voti
Categoria
creative_writing
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-28 · rating
o1-preview
1.382,63 rating
Intervallo di confidenza: 1.376,33 – 1.388,93
15891 voti
Categoria
english
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-28 · rating
o1-preview
1.313,86 rating
Intervallo di confidenza: 1.306,51 – 1.321,21
21521 voti
Categoria
exclude_ties
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-28 · rating
o1-preview
1.337,45 rating
Intervallo di confidenza: 1.322,96 – 1.351,95
1982 voti
Categoria
expert
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-28 · rating
o1-preview
1.344,76 rating
Intervallo di confidenza: 1.309,88 – 1.379,63
290 voti
Categoria
french
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-28 · rating
o1-preview
1.309,38 rating
Intervallo di confidenza: 1.287,61 – 1.331,15
774 voti
Categoria
german
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-28 · rating
o1-preview
1.354,01 rating
Intervallo di confidenza: 1.346,36 – 1.361,65
8496 voti
Categoria
hard_prompts
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-28 · rating
o1-preview
1.375,55 rating
Intervallo di confidenza: 1.366,12 – 1.384,98
4917 voti
Categoria
hard_prompts_english
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-28 · rating