GeekRadar / Il banco di confronto
CONFRONTA.
Modelli IA
openai

o1-2024-12-17

Valutazione del modello

Capacità e preferenze

Preferenze umane · Arena

Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.

o1-2024-12-17 1365,8 o1-2024-12-17 · Intervallo 95% 1361,3–1370,3 · 27,807 voti · 2026-10-15

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

Arena text preference / chinesehuman preference · 2026-10-15 · rating

o1-2024-12-17

1.393,88 rating

Intervallo di confidenza: 1.379,52 – 1.408,25

1780 voti

Categoria
chinese
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-15 · rating

o1-2024-12-17

1.366,72 rating

Intervallo di confidenza: 1.357,17 – 1.376,27

3973 voti

Categoria
coding
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-15 · rating

o1-2024-12-17

1.347,32 rating

Intervallo di confidenza: 1.338,28 – 1.356,36

4642 voti

Categoria
creative_writing
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.372,16 rating

Intervallo di confidenza: 1.366,61 – 1.377,70

16316 voti

Categoria
english
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-15 · rating

o1-2024-12-17

1.333,50 rating

Intervallo di confidenza: 1.327,07 – 1.339,92

19214 voti

Categoria
exclude_ties
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-15 · rating

o1-2024-12-17

1.361,29 rating

Intervallo di confidenza: 1.344,47 – 1.378,11

1330 voti

Categoria
expert
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.343,91 rating

Intervallo di confidenza: 1.306,95 – 1.380,86

252 voti

Categoria
french
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.336,85 rating

Intervallo di confidenza: 1.312,68 – 1.361,02

556 voti

Categoria
german
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-15 · rating

o1-2024-12-17

1.371,35 rating

Intervallo di confidenza: 1.363,70 – 1.379,01

6453 voti

Categoria
hard_prompts
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.371,92 rating

Intervallo di confidenza: 1.362,56 – 1.381,29

4238 voti

Categoria
hard_prompts_english
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-15 · rating

o1-2024-12-17

1.327,58 rating

Intervallo di confidenza: 1.315,97 – 1.339,19

2720 voti

Categoria
industry_business_and_management_and_financial_operations
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-15 · rating

o1-2024-12-17

1.358,07 rating

Intervallo di confidenza: 1.349,52 – 1.366,62

5210 voti

Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-15 · rating

o1-2024-12-17

1.368,02 rating

Intervallo di confidenza: 1.352,31 – 1.383,74

1454 voti

Categoria
industry_legal_and_government
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-15 · rating

o1-2024-12-17

1.368,77 rating

Intervallo di confidenza: 1.359,91 – 1.377,62

4820 voti

Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.389,54 rating

Intervallo di confidenza: 1.378,06 – 1.401,03

2644 voti

Categoria
industry_mathematical
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-15 · rating

o1-2024-12-17

1.354,87 rating

Intervallo di confidenza: 1.337,84 – 1.371,90

1273 voti

Categoria
industry_medicine_and_healthcare
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-15 · rating

o1-2024-12-17

1.366,35 rating

Intervallo di confidenza: 1.358,69 – 1.374,02

6584 voti

Categoria
industry_software_and_it_services
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-15 · rating

o1-2024-12-17

1.360,03 rating

Intervallo di confidenza: 1.352,71 – 1.367,34

7663 voti

Categoria
industry_writing_and_literature_and_language
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-15 · rating

o1-2024-12-17

1.367,19 rating

Intervallo di confidenza: 1.360,68 – 1.373,70

10246 voti

Categoria
instruction_following
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / japanesehuman preference · 2026-10-15 · rating

o1-2024-12-17

1.345,98 rating

Intervallo di confidenza: 1.319,98 – 1.371,98

581 voti

Categoria
japanese
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / koreanhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.396,08 rating

Intervallo di confidenza: 1.364,37 – 1.427,80

396 voti

Categoria
korean
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / longer_queryhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.377,53 rating

Intervallo di confidenza: 1.367,68 – 1.387,39

3571 voti

Categoria
longer_query
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.388,34 rating

Intervallo di confidenza: 1.377,52 – 1.399,15

2986 voti

Categoria
math
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.354,75 rating

Intervallo di confidenza: 1.345,57 – 1.363,93

4399 voti

Categoria
multi_turn
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.358,46 rating

Intervallo di confidenza: 1.352,37 – 1.364,55

11491 voti

Categoria
non_english
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.365,79 rating

Intervallo di confidenza: 1.361,31 – 1.370,26

27807 voti

Categoria
overall
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / russianhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.355,73 rating

Intervallo di confidenza: 1.345,19 – 1.366,27

3078 voti

Categoria
russian
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference
Arena text preference / spanishhuman preference · 2026-10-15 · rating

o1-2024-12-17

1.345,00 rating

Intervallo di confidenza: 1.296,78 – 1.393,22

142 voti

Categoria
spanish
Configurazione valutata
o1-2024-12-17
Tipo di valutazione
human preference

Esecuzione locale

Inferenza · stima della memoria

o1-2024-12-17

Informazioni verificate sull’architettura insufficienti per una stima affidabile della VRAM.

Capacità

Licenza del modello
Proprietary