Gemma 4 26B A4B
I tensori archiviati possono includere buffer e copie di pesi condivisi. Il numero di parametri unici non è verificato. Le dimensioni del checkpoint non indicano la memoria necessaria per eseguire il modello.
GeekRadar / Il banco di confronto
CONFRONTA.
Modelli IAGemma 4 26B A4B
Modello IA Uscita
- Finestra di contesto
- 262.144 tokens
- Pesi aperti
- Sì
Capacità e preferenze
Capacità generale · ECI
Stima delle capacità basata su più benchmark. Punti di indice, non una percentuale; gli intervalli mostrano l’incertezza.
Preferenze umane · Arena
Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.
Risultati dei benchmark
- AI2D_TEST · versione non riportata · reported score88,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- AIME26 · versione non riportata · reported score · Full AIME 2026 I and II88,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Task set
- Full AIME 2026 I and II*
- C-Eval · versione non riportata · reported score82,50*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- CC-OCR · versione non riportata · reported score74,50*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- CharXiv(RQ) · versione non riportata · reported score69*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Claw-Eval Avg · versione non riportata · reported score58,80*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Claw-Eval Pass^3 · versione non riportata · reported score28*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- DeepPlanning · versione non riportata · reported score16,20*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- GPQA · versione non riportata · reported score82,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HallusionBench · versione non riportata · reported score66,10*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HLE · versione non riportata · reported score8,70*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HMMT Feb 25 · versione non riportata · reported score91,70*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HMMT Feb 26 · versione non riportata · reported score79*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HMMT Nov 25 · versione non riportata · reported score87,50*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- IMOAnswerBench · versione non riportata · reported score74,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- LiveCodeBench v6 · 6 · reported score77,10*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Mathvista(mini) · versione non riportata · reported score79,40*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MCP-Atlas · versione non riportata · reported score · Public set50*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Judge
- gemini-2.5-pro*
- Task set
- Public set*
- MCPMark · versione non riportata · reported score · GitHub MCP v0.30.314,20*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- GitHub MCP v0.30.3*
- Truncation
- Playwright responses at 32K tokens*
- MMBench EN-DEV-v1.1 · 1.1 · reported score89*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MMLU-Pro · versione non riportata · reported score82,60*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MMLU-Redux · versione non riportata · reported score92,70*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MMMU · versione non riportata · reported score78,40*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MMMU-Pro · versione non riportata · reported score73,80*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Original footnote
- Asterisk in reported result; its qualification is not specified in the retained table*
- NL2Repo · versione non riportata · reported score · Claude Code11,60*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Claude Code*
- Variant
- Maximum 900 turns*
- Temperature
- 1,0*
- Top p
- 0,95*
- OmniDocBench1.5 · 1.5 · reported score74,40*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- QwenClawBench · versione non riportata · reported score · Internal real-user distribution38,70*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Task set
- Internal real-user distribution*
- Temperature
- 0,6*
- Context length
- 256K tokens*
- QwenWebBench · versione non riportata · reported score · Internal1.178* EloPiattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- BT/Elo rating*
- Checkpoint version
- Not specified*
- Languages
- English and Chinese*
- Categories
- Seven frontend application categories*
- Judge
- Multimodal automatic judge*
- Task set
- Internal*
- RealWorldQA · versione non riportata · reported score72,20*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SimpleVQA · versione non riportata · reported score52,20*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SkillsBench Avg5 · versione non riportata · reported score · OpenCode · Self-contained subset, API-dependent tasks excluded · Mean of five runs12,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- OpenCode*
- Tasks
- 78*
- Runs
- 5*
- Statistic
- Mean of five runs*
- Task set
- Self-contained subset, API-dependent tasks excluded*
- SuperGPQA · versione non riportata · reported score61,40*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SWE-bench Multilingual · versione non riportata · reported score · Internal agent scaffold: bash and file editing · Public benchmark17,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Internal agent scaffold: bash and file editing*
- Temperature
- 1,0*
- Top p
- 0,95*
- Context length
- 200K tokens*
- Task set
- Public benchmark*
- SWE-bench Pro · versione non riportata · reported score · Internal agent scaffold: bash and file editing · Corrected public SWE-bench Pro task set13,80*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Internal agent scaffold: bash and file editing*
- Temperature
- 1,0*
- Top p
- 0,95*
- Context length
- 200K tokens*
- Task set
- Corrected public SWE-bench Pro task set*
- SWE-bench Verified · versione non riportata · reported score · Internal agent scaffold: bash and file editing · Public benchmark17,40*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Internal agent scaffold: bash and file editing*
- Temperature
- 1,0*
- Top p
- 0,95*
- Context length
- 200K tokens*
- Task set
- Public benchmark*
- TAU3-Bench · versione non riportata · reported score59*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- User model
- gpt-5.2, low reasoning effort*
- Retrieval
- Default BM25*
- Terminal-Bench 2.0 · 2.0 · reported score · Harbor/Terminus-2 · Mean of five runs34,20*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Harbor/Terminus-2*
- Timeout
- 3 hours*
- Hardware
- 32 CPU / 48 GB RAM*
- Runs
- 5*
- Statistic
- Mean of five runs*
- Temperature
- 1,0*
- Top p
- 0,95*
- Top k
- 20*
- Maximum output
- 80K tokens*
- Context length
- 256K tokens*
- Tool Decathlon · versione non riportata · reported score12*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- VideoMMMU · versione non riportata · reported score76*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- VITA-Bench · versione non riportata · reported score · Average subdomain score36,90*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Judge
- claude-4-sonnet*
- Statistic
- Average subdomain score*
- WideSearch · versione non riportata · reported score38,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
- ZEROBench_sub · versione non riportata · reported score26,30*Piattaforma non riportata Confronta i risultati
Condizioni di test
- Metric
- reported score*
- Checkpoint version
- Not specified*
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
Arena text preference / chinesehuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.495,50 rating
Intervallo di confidenza: 1.470,60 – 1.520,39
523 voti
- Categoria
- chinese
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / codinghuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.446,34 rating
Intervallo di confidenza: 1.431,67 – 1.461,01
1442 voti
- Categoria
- coding
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / creative_writinghuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.401,47 rating
Intervallo di confidenza: 1.383,28 – 1.419,66
1000 voti
- Categoria
- creative_writing
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / englishhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.443,51 rating
Intervallo di confidenza: 1.431,59 – 1.455,43
2247 voti
- Categoria
- english
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / exclude_tieshuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.428,84 rating
Intervallo di confidenza: 1.418,07 – 1.439,61
4166 voti
- Categoria
- exclude_ties
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / experthuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.447,33 rating
Intervallo di confidenza: 1.421,96 – 1.472,70
455 voti
- Categoria
- expert
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / frenchhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.461,66 rating
Intervallo di confidenza: 1.424,68 – 1.498,63
261 voti
- Categoria
- french
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / hard_promptshuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.438,51 rating
Intervallo di confidenza: 1.428,78 – 1.448,24
3470 voti
- Categoria
- hard_prompts
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.447,77 rating
Intervallo di confidenza: 1.432,00 – 1.463,53
1276 voti
- Categoria
- hard_prompts_english
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.429,10 rating
Intervallo di confidenza: 1.412,20 – 1.446,01
1113 voti
- Categoria
- industry_business_and_management_and_financial_operations
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.403,54 rating
Intervallo di confidenza: 1.386,22 – 1.420,86
1111 voti
- Categoria
- industry_entertainment_and_sports_and_media
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.455,94 rating
Intervallo di confidenza: 1.428,71 – 1.483,17
415 voti
- Categoria
- industry_legal_and_government
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.446,43 rating
Intervallo di confidenza: 1.427,94 – 1.464,92
927 voti
- Categoria
- industry_life_and_physical_and_social_science
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.477,00 rating
Intervallo di confidenza: 1.445,74 – 1.508,26
309 voti
- Categoria
- industry_mathematical
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.427,58 rating
Intervallo di confidenza: 1.398,94 – 1.456,23
391 voti
- Categoria
- industry_medicine_and_healthcare
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.453,64 rating
Intervallo di confidenza: 1.441,72 – 1.465,55
2211 voti
- Categoria
- industry_software_and_it_services
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.405,87 rating
Intervallo di confidenza: 1.390,70 – 1.421,03
1395 voti
- Categoria
- industry_writing_and_literature_and_language
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / instruction_followinghuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.419,96 rating
Intervallo di confidenza: 1.406,51 – 1.433,41
1736 voti
- Categoria
- instruction_following
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / longer_queryhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.427,33 rating
Intervallo di confidenza: 1.413,62 – 1.441,05
1714 voti
- Categoria
- longer_query
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / mathhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.469,71 rating
Intervallo di confidenza: 1.442,13 – 1.497,30
389 voti
- Categoria
- math
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / multi_turnhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.441,59 rating
Intervallo di confidenza: 1.424,65 – 1.458,52
1143 voti
- Categoria
- multi_turn
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / non_englishhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.421,72 rating
Intervallo di confidenza: 1.412,46 – 1.430,97
3843 voti
- Categoria
- non_english
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / overallhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.434,17 rating
Intervallo di confidenza: 1.426,75 – 1.441,58
6090 voti
- Categoria
- overall
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / russianhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.434,16 rating
Intervallo di confidenza: 1.416,14 – 1.452,18
900 voti
- Categoria
- russian
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / spanishhuman preference · 2026-10-28 · rating
Gemma 4 26B A4B
1.417,11 rating
Intervallo di confidenza: 1.375,46 – 1.458,77
202 voti
- Categoria
- spanish
- Configurazione valutata
- Gemma 4 26B A4B
- Tipo di valutazione
- human preference
Arena text preference / chinesehuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.495,41 rating
Intervallo di confidenza: 1.470,56 – 1.520,27
524 voti
- Categoria
- chinese
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / codinghuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.446,43 rating
Intervallo di confidenza: 1.431,76 – 1.461,09
1445 voti
- Categoria
- coding
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / creative_writinghuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.401,45 rating
Intervallo di confidenza: 1.383,28 – 1.419,62
1001 voti
- Categoria
- creative_writing
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / englishhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.443,91 rating
Intervallo di confidenza: 1.431,99 – 1.455,83
2249 voti
- Categoria
- english
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / exclude_tieshuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.428,76 rating
Intervallo di confidenza: 1.417,99 – 1.439,53
4167 voti
- Categoria
- exclude_ties
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / experthuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.447,27 rating
Intervallo di confidenza: 1.421,89 – 1.472,65
455 voti
- Categoria
- expert
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / frenchhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.459,68 rating
Intervallo di confidenza: 1.422,73 – 1.496,64
262 voti
- Categoria
- french
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / hard_promptshuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.438,48 rating
Intervallo di confidenza: 1.428,76 – 1.448,21
3473 voti
- Categoria
- hard_prompts
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.448,14 rating
Intervallo di confidenza: 1.432,37 – 1.463,91
1277 voti
- Categoria
- hard_prompts_english
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.429,22 rating
Intervallo di confidenza: 1.412,34 – 1.446,10
1115 voti
- Categoria
- industry_business_and_management_and_financial_operations
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.403,60 rating
Intervallo di confidenza: 1.386,28 – 1.420,93
1111 voti
- Categoria
- industry_entertainment_and_sports_and_media
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.455,95 rating
Intervallo di confidenza: 1.428,71 – 1.483,18
415 voti
- Categoria
- industry_legal_and_government
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.446,46 rating
Intervallo di confidenza: 1.427,99 – 1.464,93
928 voti
- Categoria
- industry_life_and_physical_and_social_science
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.475,38 rating
Intervallo di confidenza: 1.444,23 – 1.506,53
311 voti
- Categoria
- industry_mathematical
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.427,64 rating
Intervallo di confidenza: 1.398,99 – 1.456,29
391 voti
- Categoria
- industry_medicine_and_healthcare
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.453,61 rating
Intervallo di confidenza: 1.441,70 – 1.465,52
2214 voti
- Categoria
- industry_software_and_it_services
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.405,60 rating
Intervallo di confidenza: 1.390,44 – 1.420,77
1395 voti
- Categoria
- industry_writing_and_literature_and_language
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / instruction_followinghuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.420,14 rating
Intervallo di confidenza: 1.406,70 – 1.433,59
1738 voti
- Categoria
- instruction_following
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / longer_queryhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.427,27 rating
Intervallo di confidenza: 1.413,57 – 1.440,98
1715 voti
- Categoria
- longer_query
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / mathhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.469,69 rating
Intervallo di confidenza: 1.442,17 – 1.497,21
390 voti
- Categoria
- math
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / multi_turnhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.441,33 rating
Intervallo di confidenza: 1.424,40 – 1.458,26
1143 voti
- Categoria
- multi_turn
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / non_englishhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.421,43 rating
Intervallo di confidenza: 1.412,19 – 1.430,68
3845 voti
- Categoria
- non_english
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / overallhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.434,12 rating
Intervallo di confidenza: 1.426,70 – 1.441,53
6094 voti
- Categoria
- overall
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / russianhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.433,52 rating
Intervallo di confidenza: 1.415,49 – 1.451,56
898 voti
- Categoria
- russian
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Arena text preference / spanishhuman preference · 2026-10-15 · rating
Gemma 4 26B A4B
1.417,07 rating
Intervallo di confidenza: 1.375,60 – 1.458,55
203 voti
- Categoria
- spanish
- Configurazione valutata
- gemma-4-26b-a4b
- Tipo di valutazione
- human preference
Esecuzione locale
Capacità
- Finestra di contesto
- 262.144 tokens
- Pesi aperti
- Sì
- Payload dei tensori del checkpoint
- 48,07 GiB
Modalità di input
- text
- image
Modalità di output
- text
Elaborazione e piattaforma
- Architettura
- gemma4
Configurazione di sistema
Specifiche dettagliate
Specifiche · 42 campi
- NL2Repo
- suite
- NL2Repo
- workload
- reported score · Claude Code
- score
- 11,6*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Claude Code*
- Variant
- Maximum 900 turns*
- Temperature
- 1,0*
- Top p
- 0,95*
- HallusionBench
- suite
- HallusionBench
- workload
- reported score
- score
- 66,1*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- QwenWebBench
- suite
- QwenWebBench
- workload
- reported score · Internal
- score
- 1.178,0*
- unit
- Elo
Ambito e condizioni
- Test conditions
- Metric
- BT/Elo rating*
- Checkpoint version
- Not specified*
- Languages
- English and Chinese*
- Categories
- Seven frontend application categories*
- Judge
- Multimodal automatic judge*
- Task set
- Internal*
- OmniDocBench1.5
- suite
- OmniDocBench1.5
- version
- 1.5
- workload
- reported score
- score
- 74,4*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- TAU3-Bench
- suite
- TAU3-Bench
- workload
- reported score
- score
- 59,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- User model
- gpt-5.2, low reasoning effort*
- Retrieval
- Default BM25*
- CharXiv(RQ)
- suite
- CharXiv(RQ)
- workload
- reported score
- score
- 69,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- VITA-Bench
- suite
- VITA-Bench
- workload
- reported score · Average subdomain score
- score
- 36,9*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Judge
- claude-4-sonnet*
- Statistic
- Average subdomain score*
- CC-OCR
- suite
- CC-OCR
- workload
- reported score
- score
- 74,5*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- DeepPlanning
- suite
- DeepPlanning
- workload
- reported score
- score
- 16,2*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- AI2D TEST
- suite
- AI2D_TEST
- workload
- reported score
- score
- 88,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Tool Decathlon
- suite
- Tool Decathlon
- workload
- reported score
- score
- 12,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MCPMark
- suite
- MCPMark
- workload
- reported score · GitHub MCP v0.30.3
- score
- 14,2*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- GitHub MCP v0.30.3*
- Truncation
- Playwright responses at 32K tokens*
- MCP-Atlas
- suite
- MCP-Atlas
- workload
- reported score · Public set
- score
- 50,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Judge
- gemini-2.5-pro*
- Task set
- Public set*
- WideSearch
- suite
- WideSearch
- workload
- reported score
- score
- 38,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SWE-bench Verified
- suite
- SWE-bench Verified
- workload
- reported score · Internal agent scaffold: bash and file editing · Public benchmark
- score
- 17,4*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Internal agent scaffold: bash and file editing*
- Temperature
- 1,0*
- Top p
- 0,95*
- Context length
- 200K tokens*
- Task set
- Public benchmark*
- MMMU
- suite
- MMMU
- workload
- reported score
- score
- 78,4*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MMLU-Pro
- suite
- MMLU-Pro
- workload
- reported score
- score
- 82,6*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- MMLU-Redux
- suite
- MMLU-Redux
- workload
- reported score
- score
- 92,7*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SuperGPQA
- suite
- SuperGPQA
- workload
- reported score
- score
- 61,4*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- VideoMMMU
- suite
- VideoMMMU
- workload
- reported score
- score
- 76,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- C-Eval
- suite
- C-Eval
- workload
- reported score
- score
- 82,5*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- GPQA
- suite
- GPQA
- workload
- reported score
- score
- 82,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HLE
- suite
- HLE
- workload
- reported score
- score
- 8,7*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- LiveCodeBench v6
- suite
- LiveCodeBench v6
- version
- 6
- workload
- reported score
- score
- 77,1*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HMMT Feb 25
- suite
- HMMT Feb 25
- workload
- reported score
- score
- 91,7*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SWE-bench Multilingual
- suite
- SWE-bench Multilingual
- workload
- reported score · Internal agent scaffold: bash and file editing · Public benchmark
- score
- 17,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Internal agent scaffold: bash and file editing*
- Temperature
- 1,0*
- Top p
- 0,95*
- Context length
- 200K tokens*
- Task set
- Public benchmark*
- MMMU-Pro
- suite
- MMMU-Pro
- workload
- reported score
- score
- 73,8*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Original footnote
- Asterisk in reported result; its qualification is not specified in the retained table*
- HMMT Nov 25
- suite
- HMMT Nov 25
- workload
- reported score
- score
- 87,5*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- HMMT Feb 26
- suite
- HMMT Feb 26
- workload
- reported score
- score
- 79,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- IMOAnswerBench
- suite
- IMOAnswerBench
- workload
- reported score
- score
- 74,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- AIME26
- suite
- AIME26
- workload
- reported score · Full AIME 2026 I and II
- score
- 88,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Task set
- Full AIME 2026 I and II*
- Mathvista(mini)
- suite
- Mathvista(mini)
- workload
- reported score
- score
- 79,4*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SWE-bench Pro
- suite
- SWE-bench Pro
- workload
- reported score · Internal agent scaffold: bash and file editing · Corrected public SWE-bench Pro task set
- score
- 13,8*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Internal agent scaffold: bash and file editing*
- Temperature
- 1,0*
- Top p
- 0,95*
- Context length
- 200K tokens*
- Task set
- Corrected public SWE-bench Pro task set*
- Terminal-Bench 2.0
- suite
- Terminal-Bench 2.0
- version
- 2.0
- workload
- reported score · Harbor/Terminus-2 · Mean of five runs
- score
- 34,2*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- Harbor/Terminus-2*
- Timeout
- 3 hours*
- Hardware
- 32 CPU / 48 GB RAM*
- Runs
- 5*
- Statistic
- Mean of five runs*
- Temperature
- 1,0*
- Top p
- 0,95*
- Top k
- 20*
- Maximum output
- 80K tokens*
- Context length
- 256K tokens*
- ZEROBench sub
- suite
- ZEROBench_sub
- workload
- reported score
- score
- 26,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Claw-Eval Avg
- suite
- Claw-Eval Avg
- workload
- reported score
- score
- 58,8*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- RealWorldQA
- suite
- RealWorldQA
- workload
- reported score
- score
- 72,2*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Claw-Eval Pass^3
- suite
- Claw-Eval Pass^3
- workload
- reported score
- score
- 28,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SkillsBench Avg5
- suite
- SkillsBench Avg5
- workload
- reported score · OpenCode · Self-contained subset, API-dependent tasks excluded · Mean of five runs
- score
- 12,3*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Harness
- OpenCode*
- Tasks
- 78*
- Runs
- 5*
- Statistic
- Mean of five runs*
- Task set
- Self-contained subset, API-dependent tasks excluded*
- MMBench EN-DEV-v1.1
- suite
- MMBench EN-DEV-v1.1
- version
- 1.1
- workload
- reported score
- score
- 89,0*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- SimpleVQA
- suite
- SimpleVQA
- workload
- reported score
- score
- 52,2*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- QwenClawBench
- suite
- QwenClawBench
- workload
- reported score · Internal real-user distribution
- score
- 38,7*
Ambito e condizioni
- Test conditions
- Metric
- reported score*
- Checkpoint version
- Not specified*
- Task set
- Internal real-user distribution*
- Temperature
- 0,6*
- Context length
- 256K tokens*
0 selezionati Confronta 0
* Dati provvisori