Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.
13901430
Qwen3.5 27B
Qwen3.5-27B · Intervallo 95% 1404,7–1413,3 · 28,647 voti · 2026-10-28
Risultati dei benchmark
AI2D_TEST · versione non riportata · reported score92,90*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
AIME26 · versione non riportata · reported score · Full AIME 2026 I and II92,60*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Task set
Full AIME 2026 I and II*
C-Eval · versione non riportata · reported score90,50*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
CC-OCR · versione non riportata · reported score81*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
CharXiv(RQ) · versione non riportata · reported score79,50*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Claw-Eval Avg · versione non riportata · reported score64,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Claw-Eval Pass^3 · versione non riportata · reported score46,20*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
DeepPlanning · versione non riportata · reported score22,60*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
EmbSpatialBench · versione non riportata · reported score84,50*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
GPQA · versione non riportata · reported score85,50*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
HallusionBench · versione non riportata · reported score70*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
HLE · versione non riportata · reported score24,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
HMMT Feb 25 · versione non riportata · reported score92*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
HMMT Feb 26 · versione non riportata · reported score84,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
HMMT Nov 25 · versione non riportata · reported score89,80*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
IMOAnswerBench · versione non riportata · reported score79,90*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
LiveCodeBench v6 · 6 · reported score80,70*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
LVBench · versione non riportata · reported score73,60*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Mathvista(mini) · versione non riportata · reported score87,80*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
MCP-Atlas · versione non riportata · reported score · Public set68,40*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Judge
gemini-2.5-pro*
Task set
Public set*
MCPMark · versione non riportata · reported score · GitHub MCP v0.30.336,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
GitHub MCP v0.30.3*
Truncation
Playwright responses at 32K tokens*
MLVU · versione non riportata · reported score85,90*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
MMBench EN-DEV-v1.1 · 1.1 · reported score92,60*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
MMLU-Pro · versione non riportata · reported score86,10*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
MMLU-Redux · versione non riportata · reported score93,20*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
MMMU · versione non riportata · reported score82,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
MMMU-Pro · versione non riportata · reported score75*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
MVBench · versione non riportata · reported score74,60*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
NL2Repo · versione non riportata · reported score · Claude Code27,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
Claude Code*
Variant
Maximum 900 turns*
Temperature
1,0*
Top p
0,95*
ODInW13 · versione non riportata · reported score41,10*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
OmniDocBench1.5 · 1.5 · reported score88,90*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
QwenClawBench · versione non riportata · reported score · Internal real-user distribution52,20*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Task set
Internal real-user distribution*
Temperature
0,6*
Context length
256K tokens*
QwenWebBench · versione non riportata · reported score · Internal1.068* EloPiattaforma non riportata Confronta i risultatiCondizioni di test
Metric
BT/Elo rating*
Checkpoint version
Not specified*
Languages
English and Chinese*
Categories
Seven frontend application categories*
Judge
Multimodal automatic judge*
Task set
Internal*
RealWorldQA · versione non riportata · reported score83,70*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
RefCOCO(avg) · versione non riportata · reported score90,90*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
RefSpatialBench · versione non riportata · reported score67,70*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
SimpleVQA · versione non riportata · reported score56*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
SkillsBench Avg5 · versione non riportata · reported score · OpenCode · Self-contained subset, API-dependent tasks excluded · Mean of five runs27,20*Piattaforma non riportata Confronta i risultatiCondizioni di test
SuperGPQA · versione non riportata · reported score65,60*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
SWE-bench Multilingual · versione non riportata · reported score · Internal agent scaffold: bash and file editing · Public benchmark69,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
Internal agent scaffold: bash and file editing*
Temperature
1,0*
Top p
0,95*
Context length
200K tokens*
Task set
Public benchmark*
SWE-bench Pro · versione non riportata · reported score · Internal agent scaffold: bash and file editing · Corrected public SWE-bench Pro task set51,20*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
Internal agent scaffold: bash and file editing*
Temperature
1,0*
Top p
0,95*
Context length
200K tokens*
Task set
Corrected public SWE-bench Pro task set*
SWE-bench Verified · versione non riportata · reported score · Internal agent scaffold: bash and file editing · Public benchmark75*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
Internal agent scaffold: bash and file editing*
Temperature
1,0*
Top p
0,95*
Context length
200K tokens*
Task set
Public benchmark*
TAU3-Bench · versione non riportata · reported score68,40*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
User model
gpt-5.2, low reasoning effort*
Retrieval
Default BM25*
Terminal-Bench 2.0 · 2.0 · reported score · Harbor/Terminus-2 · Mean of five runs41,60*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
Harbor/Terminus-2*
Timeout
3 hours*
Hardware
32 CPU / 48 GB RAM*
Runs
5*
Statistic
Mean of five runs*
Temperature
1,0*
Top p
0,95*
Top k
20*
Maximum output
80K tokens*
Context length
256K tokens*
Tool Decathlon · versione non riportata · reported score31,50*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
VideoMME (w sub.) · versione non riportata · reported score87*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Variant
Subtitles enabled*
VideoMME (w/o sub.) · versione non riportata · reported score82,80*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Variant
Subtitles disabled*
VideoMMMU · versione non riportata · reported score82,30*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
VITA-Bench · versione non riportata · reported score · Average subdomain score41,80*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Judge
claude-4-sonnet*
Statistic
Average subdomain score*
WideSearch · versione non riportata · reported score66,40*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
ZEROBench_sub · versione non riportata · reported score36,20*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
Arena text preference / chinesehuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.477,76 rating
Intervallo di confidenza: 1.464,65 – 1.490,87
2063 voti
Categoria
chinese
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.426,35 rating
Intervallo di confidenza: 1.419,27 – 1.433,44
7929 voti
Categoria
coding
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.362,44 rating
Intervallo di confidenza: 1.353,08 – 1.371,79
4299 voti
Categoria
creative_writing
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.424,88 rating
Intervallo di confidenza: 1.419,05 – 1.430,70
12734 voti
Categoria
english
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.391,86 rating
Intervallo di confidenza: 1.386,08 – 1.397,64
20895 voti
Categoria
exclude_ties
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.427,34 rating
Intervallo di confidenza: 1.415,76 – 1.438,93
2646 voti
Categoria
expert
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.409,55 rating
Intervallo di confidenza: 1.388,44 – 1.430,66
847 voti
Categoria
french
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.393,28 rating
Intervallo di confidenza: 1.366,12 – 1.420,44
450 voti
Categoria
german
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.414,38 rating
Intervallo di confidenza: 1.409,17 – 1.419,58
18072 voti
Categoria
hard_prompts
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-28 · rating
Qwen3.5 27B
1.428,39 rating
Intervallo di confidenza: 1.421,41 – 1.435,38
8331 voti
Categoria
hard_prompts_english
Configurazione valutata
Qwen3.5-27B
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-28 · rating
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.363,01 rating
Intervallo di confidenza: 1.354,62 – 1.371,41
5387 voti
Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.405,41 rating
Intervallo di confidenza: 1.392,61 – 1.418,21
2192 voti
Categoria
industry_legal_and_government
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.436,69 rating
Intervallo di confidenza: 1.428,01 – 1.445,37
4778 voti
Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.429,02 rating
Intervallo di confidenza: 1.414,33 – 1.443,70
1672 voti
Categoria
industry_mathematical
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.425,08 rating
Intervallo di confidenza: 1.411,86 – 1.438,29
2038 voti
Categoria
industry_medicine_and_healthcare
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.431,14 rating
Intervallo di confidenza: 1.425,02 – 1.437,27
11357 voti
Categoria
industry_software_and_it_services
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.380,41 rating
Intervallo di confidenza: 1.372,74 – 1.388,07
6497 voti
Categoria
industry_writing_and_literature_and_language
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.392,69 rating
Intervallo di confidenza: 1.386,08 – 1.399,30
9229 voti
Categoria
instruction_following
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / japanesehuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.345,65 rating
Intervallo di confidenza: 1.305,71 – 1.385,59
226 voti
Categoria
japanese
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / koreanhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.358,96 rating
Intervallo di confidenza: 1.330,20 – 1.387,72
448 voti
Categoria
korean
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / longer_queryhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.412,89 rating
Intervallo di confidenza: 1.406,52 – 1.419,26
11050 voti
Categoria
longer_query
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.429,10 rating
Intervallo di confidenza: 1.415,09 – 1.443,10
1746 voti
Categoria
math
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.410,03 rating
Intervallo di confidenza: 1.401,19 – 1.418,87
4893 voti
Categoria
multi_turn
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.389,62 rating
Intervallo di confidenza: 1.384,32 – 1.394,93
15918 voti
Categoria
non_english
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.408,90 rating
Intervallo di confidenza: 1.404,63 – 1.413,17
28671 voti
Categoria
overall
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / polishhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.374,48 rating
Intervallo di confidenza: 1.349,64 – 1.399,31
537 voti
Categoria
polish
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / russianhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.389,79 rating
Intervallo di confidenza: 1.379,47 – 1.400,11
3317 voti
Categoria
russian
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Arena text preference / spanishhuman preference · 2026-10-15 · rating
Qwen3.5 27B
1.407,09 rating
Intervallo di confidenza: 1.387,71 – 1.426,47
939 voti
Categoria
spanish
Configurazione valutata
qwen3.5-27b
Tipo di valutazione
human preference
Esecuzione locale
Inferenza · stima della memoria
Qwen3.5 27B
51,7 GiB di payload dei tensori del checkpoint · 27,78 B elementi dei tensori archiviati · BF16/F32
I tensori archiviati possono includere buffer e copie di pesi condivisi. Il numero di parametri unici non è verificato. Le dimensioni del checkpoint non indicano la memoria necessaria per eseguire il modello.
Costo API
USD / mese
Stima per token di testo standard. Esclude imposte, cache, sconti batch e costi aggiuntivi per ragionamento e modalità multimediali. Limiti e disponibilità possono variare per provider.