GeekRadar / Il banco di confronto
CONFRONTA.
Modelli IA
openai

o1-preview

Modello IA Uscita

Capacità e preferenze

Capacità generale · ECI

Stima delle capacità basata su più benchmark. Punti di indice, non una percentuale; gli intervalli mostrano l’incertezza.

o1-preview 133,9* o1-preview · Intervallo 95% 131,3–136,3

Preferenze umane · Arena

Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.

o1-preview 1352,7 o1-preview · Intervallo 95% 1347,7–1357,8 · 31,122 voti · 2026-10-28

Prestazioni dei modelli

Punteggio Radar: quattro test, peso uguale. Una sintesi sperimentale di queste prove, non una misura universale di intelligenza.

o1-preview

Punteggio Radar

Non valutato

1/4 test principali · prove insufficienti

1 risultati di benchmark per questa configurazione

Ragionamento scientifico

GPQA Diamond · 25%

Domande scientifiche di esperti; correzione rigorosa a scelta multipla. Il caso vale il 25%.

o1-preview 50,3*% Intervallo 95% appross.: 44,8–55,9% · Risultato datato

Soluzione di problemi nuovi

Mystery Game Puzzles · 25%

Scelta della mossa migliore in una variante di gioco non divulgata. Una prova circoscritta di ragionamento, non di intelligenza generale.

o1-preview Non disponibile

Matematica avanzata

FrontierMath Tiers 1-3 · 25%

Problemi matematici privati v2 con strumenti Python. Esclusi versioni precedenti e Tier 4.

o1-preview Non disponibile

Risposte fattuali

SimpleQA Verified · 25%

Risposte fattuali corrette con invito a tentare, valutate da un modello. Non misura allucinazioni o astensione.

o1-preview Non disponibile

Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

Arena text preference / chinesehuman preference · 2026-10-28 · rating

o1-preview

1.325,46 rating

Intervallo di confidenza: 1.312,94 – 1.337,99

2763 voti

Categoria
chinese
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-28 · rating

o1-preview

1.366,35 rating

Intervallo di confidenza: 1.357,04 – 1.375,66

5123 voti

Categoria
coding
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-28 · rating

o1-preview

1.317,87 rating

Intervallo di confidenza: 1.307,91 – 1.327,84

4508 voti

Categoria
creative_writing
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-28 · rating

o1-preview

1.382,63 rating

Intervallo di confidenza: 1.376,33 – 1.388,93

15891 voti

Categoria
english
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-28 · rating

o1-preview

1.313,86 rating

Intervallo di confidenza: 1.306,51 – 1.321,21

21521 voti

Categoria
exclude_ties
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-28 · rating

o1-preview

1.337,45 rating

Intervallo di confidenza: 1.322,96 – 1.351,95

1982 voti

Categoria
expert
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-28 · rating

o1-preview

1.344,76 rating

Intervallo di confidenza: 1.309,88 – 1.379,63

290 voti

Categoria
french
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-28 · rating

o1-preview

1.309,38 rating

Intervallo di confidenza: 1.287,61 – 1.331,15

774 voti

Categoria
german
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-28 · rating

o1-preview

1.354,01 rating

Intervallo di confidenza: 1.346,36 – 1.361,65

8496 voti

Categoria
hard_prompts
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-28 · rating

o1-preview

1.375,55 rating

Intervallo di confidenza: 1.366,12 – 1.384,98

4917 voti

Categoria
hard_prompts_english
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-28 · rating

o1-preview

1.304,22 rating

Intervallo di confidenza: 1.293,69 – 1.314,76

3778 voti

Categoria
industry_business_and_management_and_financial_operations
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-28 · rating

o1-preview

1.330,87 rating

Intervallo di confidenza: 1.321,23 – 1.340,50

4823 voti

Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-28 · rating

o1-preview

1.346,42 rating

Intervallo di confidenza: 1.331,98 – 1.360,86

1945 voti

Categoria
industry_legal_and_government
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-28 · rating

o1-preview

1.348,30 rating

Intervallo di confidenza: 1.339,17 – 1.357,43

5419 voti

Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-28 · rating

o1-preview

1.380,07 rating

Intervallo di confidenza: 1.369,60 – 1.390,53

3876 voti

Categoria
industry_mathematical
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-28 · rating

o1-preview

1.306,94 rating

Intervallo di confidenza: 1.291,43 – 1.322,45

1699 voti

Categoria
industry_medicine_and_healthcare
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-28 · rating

o1-preview

1.361,58 rating

Intervallo di confidenza: 1.353,72 – 1.369,45

8206 voti

Categoria
industry_software_and_it_services
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-28 · rating

o1-preview

1.339,43 rating

Intervallo di confidenza: 1.331,42 – 1.347,45

8360 voti

Categoria
industry_writing_and_literature_and_language
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-28 · rating

o1-preview

1.341,51 rating

Intervallo di confidenza: 1.334,65 – 1.348,38

12782 voti

Categoria
instruction_following
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / japanesehuman preference · 2026-10-28 · rating

o1-preview

1.294,56 rating

Intervallo di confidenza: 1.270,32 – 1.318,81

674 voti

Categoria
japanese
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / koreanhuman preference · 2026-10-28 · rating

o1-preview

1.290,46 rating

Intervallo di confidenza: 1.260,16 – 1.320,75

493 voti

Categoria
korean
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / longer_queryhuman preference · 2026-10-28 · rating

o1-preview

1.343,66 rating

Intervallo di confidenza: 1.333,99 – 1.353,33

4578 voti

Categoria
longer_query
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-28 · rating

o1-preview

1.372,99 rating

Intervallo di confidenza: 1.363,28 – 1.382,71

4569 voti

Categoria
math
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-28 · rating

o1-preview

1.368,52 rating

Intervallo di confidenza: 1.359,18 – 1.377,87

5871 voti

Categoria
multi_turn
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-28 · rating

o1-preview

1.314,93 rating

Intervallo di confidenza: 1.308,51 – 1.321,34

15231 voti

Categoria
non_english
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-28 · rating

o1-preview

1.352,75 rating

Intervallo di confidenza: 1.347,72 – 1.357,78

31122 voti

Categoria
overall
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / russianhuman preference · 2026-10-28 · rating

o1-preview

1.315,96 rating

Intervallo di confidenza: 1.306,22 – 1.325,69

4488 voti

Categoria
russian
Configurazione valutata
o1-preview
Tipo di valutazione
human preference
Arena text preference / spanishhuman preference · 2026-10-28 · rating

o1-preview

1.301,90 rating

Intervallo di confidenza: 1.270,56 – 1.333,25

347 voti

Categoria
spanish
Configurazione valutata
o1-preview
Tipo di valutazione
human preference

Esecuzione locale

Inferenza · stima della memoria

o1-preview

Informazioni verificate sull’architettura insufficienti per una stima affidabile della VRAM.

Capacità

Licenza del modello
Proprietary

* Dati provvisori