Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.
12801320
Claude Sonnet 3.5 v2
claude-3-5-sonnet-20241022 · Intervallo 95% 1294,6–1301,0 · 87,769 voti · 2026-10-15
Prestazioni dei modelli
Punteggio Radar: quattro test, peso uguale. Una sintesi sperimentale di queste prove, non una misura universale di intelligenza.
Claude Sonnet 3.5 v2
Punteggio Radar
/ 100
1/4 test principali · prove insufficienti
1 risultati di benchmark per questa configurazione
Ragionamento scientifico
GPQA Diamond · 25%
Domande scientifiche di esperti; correzione rigorosa a scelta multipla. Il caso vale il 25%.
050100%
Claude Sonnet 3.5 v255,3*%Intervallo 95% appross.: 49,8–60,8% · Risultato datato
Soluzione di problemi nuovi
Mystery Game Puzzles · 25%
Scelta della mossa migliore in una variante di gioco non divulgata. Una prova circoscritta di ragionamento, non di intelligenza generale.
050100%
Claude Sonnet 3.5 v2Non disponibile
Matematica avanzata
FrontierMath Tiers 1-3 · 25%
Problemi matematici privati v2 con strumenti Python. Esclusi versioni precedenti e Tier 4.
050100%
Claude Sonnet 3.5 v2Non disponibile
Risposte fattuali
SimpleQA Verified · 25%
Risposte fattuali corrette con invito a tentare, valutate da un modello. Non misura allucinazioni o astensione.
050100%
Claude Sonnet 3.5 v2Non disponibile
Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
Arena text preference / chinesehuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.271,63 rating
Intervallo di confidenza: 1.263,43 – 1.279,83
6921 voti
Categoria
chinese
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.342,28 rating
Intervallo di confidenza: 1.336,81 – 1.347,76
14906 voti
Categoria
coding
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.291,88 rating
Intervallo di confidenza: 1.285,62 – 1.298,13
11714 voti
Categoria
creative_writing
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.307,02 rating
Intervallo di confidenza: 1.303,09 – 1.310,94
45072 voti
Categoria
english
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.235,80 rating
Intervallo di confidenza: 1.231,52 – 1.240,09
61470 voti
Categoria
exclude_ties
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.264,33 rating
Intervallo di confidenza: 1.255,14 – 1.273,52
5042 voti
Categoria
expert
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.305,05 rating
Intervallo di confidenza: 1.283,83 – 1.326,27
848 voti
Categoria
french
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.297,44 rating
Intervallo di confidenza: 1.283,99 – 1.310,88
2025 voti
Categoria
german
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.304,84 rating
Intervallo di confidenza: 1.300,52 – 1.309,16
27142 voti
Categoria
hard_prompts
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.311,19 rating
Intervallo di confidenza: 1.305,79 – 1.316,59
15032 voti
Categoria
hard_prompts_english
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-15 · rating
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.278,81 rating
Intervallo di confidenza: 1.273,16 – 1.284,46
14258 voti
Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.276,99 rating
Intervallo di confidenza: 1.267,99 – 1.285,98
5495 voti
Categoria
industry_legal_and_government
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.269,76 rating
Intervallo di confidenza: 1.264,04 – 1.275,47
15554 voti
Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.306,65 rating
Intervallo di confidenza: 1.299,69 – 1.313,61
8596 voti
Categoria
industry_mathematical
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.256,70 rating
Intervallo di confidenza: 1.246,84 – 1.266,55
4533 voti
Categoria
industry_medicine_and_healthcare
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.315,88 rating
Intervallo di confidenza: 1.311,30 – 1.320,46
24996 voti
Categoria
industry_software_and_it_services
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.313,68 rating
Intervallo di confidenza: 1.308,74 – 1.318,61
21816 voti
Categoria
industry_writing_and_literature_and_language
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.297,00 rating
Intervallo di confidenza: 1.292,58 – 1.301,41
31239 voti
Categoria
instruction_following
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / japanesehuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.233,88 rating
Intervallo di confidenza: 1.219,78 – 1.247,98
2041 voti
Categoria
japanese
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / koreanhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.197,57 rating
Intervallo di confidenza: 1.178,95 – 1.216,19
1273 voti
Categoria
korean
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / longer_queryhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.310,97 rating
Intervallo di confidenza: 1.305,30 – 1.316,63
13768 voti
Categoria
longer_query
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.306,51 rating
Intervallo di confidenza: 1.299,89 – 1.313,13
10012 voti
Categoria
math
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.325,80 rating
Intervallo di confidenza: 1.320,14 – 1.331,47
15897 voti
Categoria
multi_turn
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.283,07 rating
Intervallo di confidenza: 1.279,22 – 1.286,93
42689 voti
Categoria
non_english
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.297,78 rating
Intervallo di confidenza: 1.294,59 – 1.300,96
87769 voti
Categoria
overall
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / polishhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.287,89 rating
Intervallo di confidenza: 1.274,34 – 1.301,44
2219 voti
Categoria
polish
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / russianhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.305,45 rating
Intervallo di confidenza: 1.298,72 – 1.312,17
10313 voti
Categoria
russian
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Arena text preference / spanishhuman preference · 2026-10-15 · rating
Claude Sonnet 3.5 v2
1.285,48 rating
Intervallo di confidenza: 1.266,07 – 1.304,89
967 voti
Categoria
spanish
Configurazione valutata
claude-3-5-sonnet-20241022
Tipo di valutazione
human preference
Esecuzione locale
Inferenza · stima della memoria
Claude Sonnet 3.5 v2
Pesi chiusi. Non sono pubblicati un impiego locale supportato o requisiti GPU.
Costo API
USD / mese
Stima per token di testo standard. Esclude imposte, cache, sconti batch e costi aggiuntivi per ragionamento e modalità multimediali. Limiti e disponibilità possono variare per provider.