Agentic coding SWE-bench Pro · versione non riportata · reported score · Claude Code · Refined task set with corrected problematic tasks51,20*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
Claude Code*
Task set
Refined task set with corrected problematic tasks*
Temperature
1,0*
Top p
0,95*
Context length
256K tokens*
Agentic terminal coding Terminal Bench 2.1 (Terminus) · 2.1 · reported score · Terminus51,70*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Harness
Terminus*
Computer use OSWorld-Verified · versione non riportata · reported score65,90*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Document intelligence OmniDocBench 1.5 · 1.5 · reported score75,80*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Instruction following IFBench · versione non riportata · reported score77*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Multidisciplinary reasoning HLE · versione non riportata · reported score22*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Judge
GPT-4o*
Scientific chart analysis CharXiv (RQ) · versione non riportata · reported score · Not specified78,80*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Annotation set
Corrected ground-truth annotations*
Tool access
Not specified*
Scientific reasoning GPQA Diamond · versione non riportata · reported score83,50*Piattaforma non riportata Confronta i risultatiCondizioni di test
Metric
reported score*
Checkpoint version
Not specified*
Esecuzione locale
Inferenza · stima della memoria
Muse Glimmer 30B
Informazioni verificate sull’architettura insufficienti per una stima affidabile della VRAM.
Costo API
USD / mese
Stima per token di testo standard. Esclude imposte, cache, sconti batch e costi aggiuntivi per ragionamento e modalità multimediali. Limiti e disponibilità possono variare per provider.