Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.
12101250
Mistral Small 3
mistral-small-24b-instruct-2501 · Intervallo 95% 1227,7–1239,4 · 14,681 voti · 2026-10-15
Prestazioni dei modelli
Punteggio Radar: quattro test, peso uguale. Una sintesi sperimentale di queste prove, non una misura universale di intelligenza.
Mistral Small 3
Punteggio Radar
/ 100
1/4 test principali · prove insufficienti
2 risultati di benchmark per questa configurazione
Ragionamento scientifico
GPQA Diamond · 25%
Domande scientifiche di esperti; correzione rigorosa a scelta multipla. Il caso vale il 25%.
050100%
Mistral Small 347,3*%Intervallo 95% appross.: 41,8–52,8%
Soluzione di problemi nuovi
Mystery Game Puzzles · 25%
Scelta della mossa migliore in una variante di gioco non divulgata. Una prova circoscritta di ragionamento, non di intelligenza generale.
050100%
Mistral Small 3Non disponibile
Matematica avanzata
FrontierMath Tiers 1-3 · 25%
Problemi matematici privati v2 con strumenti Python. Esclusi versioni precedenti e Tier 4.
050100%
Mistral Small 3Non disponibile
Risposte fattuali
SimpleQA Verified · 25%
Risposte fattuali corrette con invito a tentare, valutate da un modello. Non misura allucinazioni o astensione.
050100%
Mistral Small 3Non disponibile
Matematica da competizione
OTIS Mock AIME 2024-2025 · Risultato separato
Problemi da competizione: risposte estratte da un modello e confrontate con la soluzione esatta. Escluse le procedure di valutazione precedenti.
050100%
Mistral Small 36,7*%Intervallo 95% appross.: 1,4–11,9%
Le barre mostrano i risultati delle prove. I segmenti indicano intervalli approssimativi al 95% quando è disponibile l’errore standard. Budget di ragionamento diversi non implicano costi uguali. I risultati mancanti non valgono zero.
Risultati registrati
Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.
Arena text preference / chinesehuman preference · 2026-10-15 · rating
Mistral Small 3
1.203,66 rating
Intervallo di confidenza: 1.186,01 – 1.221,31
1054 voti
Categoria
chinese
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-15 · rating
Mistral Small 3
1.245,55 rating
Intervallo di confidenza: 1.233,09 – 1.258,01
2083 voti
Categoria
coding
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-15 · rating
Mistral Small 3
1.194,54 rating
Intervallo di confidenza: 1.182,44 – 1.206,64
2415 voti
Categoria
creative_writing
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-15 · rating
Mistral Small 3
1.256,09 rating
Intervallo di confidenza: 1.249,05 – 1.263,12
8740 voti
Categoria
english
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-15 · rating
Mistral Small 3
1.129,02 rating
Intervallo di confidenza: 1.119,79 – 1.138,24
9628 voti
Categoria
exclude_ties
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / experthuman preference · 2026-10-15 · rating
Mistral Small 3
1.201,61 rating
Intervallo di confidenza: 1.181,09 – 1.222,13
754 voti
Categoria
expert
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / frenchhuman preference · 2026-10-15 · rating
Mistral Small 3
1.203,30 rating
Intervallo di confidenza: 1.153,96 – 1.252,65
142 voti
Categoria
french
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / germanhuman preference · 2026-10-15 · rating
Mistral Small 3
1.211,35 rating
Intervallo di confidenza: 1.177,91 – 1.244,79
301 voti
Categoria
german
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-15 · rating
Mistral Small 3
1.232,97 rating
Intervallo di confidenza: 1.223,40 – 1.242,53
3569 voti
Categoria
hard_prompts
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-15 · rating
Mistral Small 3
1.242,97 rating
Intervallo di confidenza: 1.231,23 – 1.254,71
2355 voti
Categoria
hard_prompts_english
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-15 · rating
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-15 · rating
Mistral Small 3
1.183,85 rating
Intervallo di confidenza: 1.172,44 – 1.195,27
2680 voti
Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-15 · rating
Mistral Small 3
1.218,70 rating
Intervallo di confidenza: 1.198,04 – 1.239,36
869 voti
Categoria
industry_legal_and_government
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-15 · rating
Mistral Small 3
1.234,83 rating
Intervallo di confidenza: 1.223,09 – 1.246,58
2579 voti
Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-15 · rating
Mistral Small 3
1.243,17 rating
Intervallo di confidenza: 1.228,76 – 1.257,58
1447 voti
Categoria
industry_mathematical
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-15 · rating
Mistral Small 3
1.215,45 rating
Intervallo di confidenza: 1.191,72 – 1.239,17
654 voti
Categoria
industry_medicine_and_healthcare
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-15 · rating
Mistral Small 3
1.248,11 rating
Intervallo di confidenza: 1.238,20 – 1.258,02
3478 voti
Categoria
industry_software_and_it_services
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-15 · rating
Mistral Small 3
1.213,93 rating
Intervallo di confidenza: 1.204,50 – 1.223,37
3942 voti
Categoria
industry_writing_and_literature_and_language
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-15 · rating
Mistral Small 3
1.213,81 rating
Intervallo di confidenza: 1.205,67 – 1.221,95
5485 voti
Categoria
instruction_following
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / japanesehuman preference · 2026-10-15 · rating
Mistral Small 3
1.110,86 rating
Intervallo di confidenza: 1.074,71 – 1.147,01
269 voti
Categoria
japanese
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / koreanhuman preference · 2026-10-15 · rating
Mistral Small 3
1.188,16 rating
Intervallo di confidenza: 1.148,57 – 1.227,76
231 voti
Categoria
korean
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / longer_queryhuman preference · 2026-10-15 · rating
Mistral Small 3
1.245,64 rating
Intervallo di confidenza: 1.232,17 – 1.259,10
1767 voti
Categoria
longer_query
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-15 · rating
Mistral Small 3
1.240,19 rating
Intervallo di confidenza: 1.226,83 – 1.253,54
1683 voti
Categoria
math
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-15 · rating
Mistral Small 3
1.216,61 rating
Intervallo di confidenza: 1.203,71 – 1.229,50
2151 voti
Categoria
multi_turn
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-15 · rating
Mistral Small 3
1.198,14 rating
Intervallo di confidenza: 1.190,23 – 1.206,04
5941 voti
Categoria
non_english
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-15 · rating
Mistral Small 3
1.233,53 rating
Intervallo di confidenza: 1.227,66 – 1.239,41
14681 voti
Categoria
overall
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Arena text preference / russianhuman preference · 2026-10-15 · rating
Mistral Small 3
1.215,98 rating
Intervallo di confidenza: 1.201,33 – 1.230,63
1418 voti
Categoria
russian
Configurazione valutata
mistral-small-24b-instruct-2501
Tipo di valutazione
human preference
Esecuzione locale
Inferenza · stima della memoria
Mistral Small 3
Informazioni verificate sull’architettura insufficienti per una stima affidabile della VRAM.
Costo API
USD / mese
Stima per token di testo standard. Esclude imposte, cache, sconti batch e costi aggiuntivi per ragionamento e modalità multimediali. Limiti e disponibilità possono variare per provider.