GeekRadar / Il banco di confronto
CONFRONTA.
Modelli IA
openai

o1-mini

Modello IA Uscita

Capacità e preferenze

Capacità generale · ECI

Stima delle capacità basata su più benchmark. Punti di indice, non una percentuale; gli intervalli mostrano l’incertezza.

o1-mini 135,4* o1-mini · Intervallo 95% 133,1–137,5

Preferenze umane · Arena

Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.

o1-mini 1317,1 o1-mini · Intervallo 95% 1313,4–1320,7 · 51,981 voti · 2026-10-28

Prestazioni dei modelli

Punteggio Radar: quattro test, peso uguale. Una sintesi sperimentale di queste prove, non una misura universale di intelligenza.

o1-mini

Punteggio Radar

Non valutato

1/4 test principali · prove insufficienti

1 risultati di benchmark per questa configurazione

Ragionamento scientifico

GPQA Diamond · 25%

Domande scientifiche di esperti; correzione rigorosa a scelta multipla. Il caso vale il 25%.

o1-mini 62,4*% Intervallo 95% appross.: 57,0–67,7% · Risultato datato

Soluzione di problemi nuovi

Mystery Game Puzzles · 25%

Scelta della mossa migliore in una variante di gioco non divulgata. Una prova circoscritta di ragionamento, non di intelligenza generale.

o1-mini Non disponibile

Matematica avanzata

FrontierMath Tiers 1-3 · 25%

Problemi matematici privati v2 con strumenti Python. Esclusi versioni precedenti e Tier 4.

o1-mini Non disponibile

Risposte fattuali

SimpleQA Verified · 25%

Risposte fattuali corrette con invito a tentare, valutate da un modello. Non misura allucinazioni o astensione.

o1-mini Non disponibile

Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

Arena text preference / chinesehuman preference · 2026-10-28 · rating

o1-mini

1.314,08 rating

Intervallo di confidenza: 1.303,89 – 1.324,26

4309 voti

Categoria
chinese
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-28 · rating

o1-mini

1.362,02 rating

Intervallo di confidenza: 1.354,67 – 1.369,38

8478 voti

Categoria
coding
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-28 · rating

o1-mini

1.243,97 rating

Intervallo di confidenza: 1.236,35 – 1.251,58

7858 voti

Categoria
creative_writing
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-28 · rating

o1-mini

1.340,07 rating

Intervallo di confidenza: 1.335,31 – 1.344,83

27352 voti

Categoria
english
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-28 · rating

o1-mini

1.262,45 rating

Intervallo di confidenza: 1.256,96 – 1.267,94

34410 voti

Categoria
exclude_ties
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-28 · rating

o1-mini

1.315,60 rating

Intervallo di confidenza: 1.303,96 – 1.327,23

3191 voti

Categoria
expert
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-28 · rating

o1-mini

1.293,45 rating

Intervallo di confidenza: 1.263,54 – 1.323,36

424 voti

Categoria
french
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-28 · rating

o1-mini

1.278,06 rating

Intervallo di confidenza: 1.259,95 – 1.296,18

1169 voti

Categoria
german
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-28 · rating

o1-mini

1.333,03 rating

Intervallo di confidenza: 1.327,06 – 1.338,99

13899 voti

Categoria
hard_prompts
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-28 · rating

o1-mini

1.351,26 rating

Intervallo di confidenza: 1.343,91 – 1.358,60

8369 voti

Categoria
hard_prompts_english
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-28 · rating

o1-mini

1.286,94 rating

Intervallo di confidenza: 1.278,42 – 1.295,47

6092 voti

Categoria
industry_business_and_management_and_financial_operations
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-28 · rating

o1-mini

1.256,81 rating

Intervallo di confidenza: 1.249,65 – 1.263,98

8598 voti

Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-28 · rating

o1-mini

1.315,39 rating

Intervallo di confidenza: 1.303,69 – 1.327,08

3138 voti

Categoria
industry_legal_and_government
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-28 · rating

o1-mini

1.315,77 rating

Intervallo di confidenza: 1.308,50 – 1.323,05

8979 voti

Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-28 · rating

o1-mini

1.366,27 rating

Intervallo di confidenza: 1.357,82 – 1.374,72

6318 voti

Categoria
industry_mathematical
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-28 · rating

o1-mini

1.296,69 rating

Intervallo di confidenza: 1.284,05 – 1.309,33

2639 voti

Categoria
industry_medicine_and_healthcare
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-28 · rating

o1-mini

1.353,69 rating

Intervallo di confidenza: 1.347,50 – 1.359,88

13214 voti

Categoria
industry_software_and_it_services
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-28 · rating

o1-mini

1.279,87 rating

Intervallo di confidenza: 1.273,80 – 1.285,95

14272 voti

Categoria
industry_writing_and_literature_and_language
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-28 · rating

o1-mini

1.303,88 rating

Intervallo di confidenza: 1.298,63 – 1.309,13

21478 voti

Categoria
instruction_following
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / japanesehuman preference · 2026-10-28 · rating

o1-mini

1.245,04 rating

Intervallo di confidenza: 1.226,39 – 1.263,69

1093 voti

Categoria
japanese
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / koreanhuman preference · 2026-10-28 · rating

o1-mini

1.222,82 rating

Intervallo di confidenza: 1.198,84 – 1.246,79

716 voti

Categoria
korean
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / longer_queryhuman preference · 2026-10-28 · rating

o1-mini

1.320,13 rating

Intervallo di confidenza: 1.312,55 – 1.327,70

7913 voti

Categoria
longer_query
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-28 · rating

o1-mini

1.358,18 rating

Intervallo di confidenza: 1.350,31 – 1.366,06

7499 voti

Categoria
math
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-28 · rating

o1-mini

1.313,95 rating

Intervallo di confidenza: 1.306,58 – 1.321,32

9326 voti

Categoria
multi_turn
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-28 · rating

o1-mini

1.288,43 rating

Intervallo di confidenza: 1.283,58 – 1.293,28

24629 voti

Categoria
non_english
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-28 · rating

o1-mini

1.317,05 rating

Intervallo di confidenza: 1.313,42 – 1.320,69

51981 voti

Categoria
overall
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / russianhuman preference · 2026-10-28 · rating

o1-mini

1.282,35 rating

Intervallo di confidenza: 1.274,44 – 1.290,26

7413 voti

Categoria
russian
Configurazione valutata
o1-mini
Tipo di valutazione
human preference
Arena text preference / spanishhuman preference · 2026-10-28 · rating

o1-mini

1.302,74 rating

Intervallo di confidenza: 1.274,85 – 1.330,64

425 voti

Categoria
spanish
Configurazione valutata
o1-mini
Tipo di valutazione
human preference

Esecuzione locale

Inferenza · stima della memoria

o1-mini

Informazioni verificate sull’architettura insufficienti per una stima affidabile della VRAM.

Capacità

Licenza del modello
Proprietary

* Dati provvisori