GeekRadar / Il banco di confronto
CONFRONTA.
Modelli IA
Not reported

oasst-pythia-12b

Valutazione del modello

Capacità e preferenze

Preferenze umane · Arena

Preferenze complessive sul testo da confronti diretti. Non misura accuratezza fattuale o riuscita dei compiti.

oasst-pythia-12b 916,0 oasst-pythia-12b · Intervallo 95% 905,3–926,7 · 6,310 voti · 2026-10-15

Risultati registrati

Ogni riga usa lo stesso benchmark, versione, carico, scenario e unità. I risultati mancanti non valgono zero. I risultati di sistema includono tutta la configurazione hardware e software.

Arena text preference / chinesehuman preference · 2026-10-15 · rating

oasst-pythia-12b

802,95 rating

Intervallo di confidenza: 770,34 – 835,56

321 voti

Categoria
chinese
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / codinghuman preference · 2026-10-15 · rating

oasst-pythia-12b

900,13 rating

Intervallo di confidenza: 875,64 – 924,62

714 voti

Categoria
coding
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / creative_writinghuman preference · 2026-10-15 · rating

oasst-pythia-12b

923,15 rating

Intervallo di confidenza: 903,23 – 943,07

1094 voti

Categoria
creative_writing
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / englishhuman preference · 2026-10-15 · rating

oasst-pythia-12b

945,35 rating

Intervallo di confidenza: 933,67 – 957,03

5212 voti

Categoria
english
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / exclude_tieshuman preference · 2026-10-15 · rating

oasst-pythia-12b

671,53 rating

Intervallo di confidenza: 655,64 – 687,42

4325 voti

Categoria
exclude_ties
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / hard_promptshuman preference · 2026-10-15 · rating

oasst-pythia-12b

884,44 rating

Intervallo di confidenza: 865,90 – 902,98

1153 voti

Categoria
hard_prompts
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / hard_prompts_englishhuman preference · 2026-10-15 · rating

oasst-pythia-12b

897,38 rating

Intervallo di confidenza: 877,16 – 917,60

1002 voti

Categoria
hard_prompts_english
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_business_and_management_and_financial_operationshuman preference · 2026-10-15 · rating

oasst-pythia-12b

822,39 rating

Intervallo di confidenza: 792,30 – 852,49

454 voti

Categoria
industry_business_and_management_and_financial_operations
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_entertainment_and_sports_and_mediahuman preference · 2026-10-15 · rating

oasst-pythia-12b

885,28 rating

Intervallo di confidenza: 864,61 – 905,95

1067 voti

Categoria
industry_entertainment_and_sports_and_media
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_legal_and_governmenthuman preference · 2026-10-15 · rating

oasst-pythia-12b

922,19 rating

Intervallo di confidenza: 882,00 – 962,38

266 voti

Categoria
industry_legal_and_government
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_life_and_physical_and_social_sciencehuman preference · 2026-10-15 · rating

oasst-pythia-12b

896,58 rating

Intervallo di confidenza: 875,90 – 917,25

1134 voti

Categoria
industry_life_and_physical_and_social_science
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_mathematicalhuman preference · 2026-10-15 · rating

oasst-pythia-12b

890,65 rating

Intervallo di confidenza: 865,77 – 915,52

629 voti

Categoria
industry_mathematical
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_medicine_and_healthcarehuman preference · 2026-10-15 · rating

oasst-pythia-12b

819,07 rating

Intervallo di confidenza: 771,94 – 866,20

201 voti

Categoria
industry_medicine_and_healthcare
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_software_and_it_serviceshuman preference · 2026-10-15 · rating

oasst-pythia-12b

881,34 rating

Intervallo di confidenza: 862,77 – 899,91

1409 voti

Categoria
industry_software_and_it_services
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / industry_writing_and_literature_and_languagehuman preference · 2026-10-15 · rating

oasst-pythia-12b

928,21 rating

Intervallo di confidenza: 910,71 – 945,72

1408 voti

Categoria
industry_writing_and_literature_and_language
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / instruction_followinghuman preference · 2026-10-15 · rating

oasst-pythia-12b

887,24 rating

Intervallo di confidenza: 871,70 – 902,78

1744 voti

Categoria
instruction_following
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / mathhuman preference · 2026-10-15 · rating

oasst-pythia-12b

891,82 rating

Intervallo di confidenza: 869,99 – 913,64

687 voti

Categoria
math
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / multi_turnhuman preference · 2026-10-15 · rating

oasst-pythia-12b

869,24 rating

Intervallo di confidenza: 844,17 – 894,30

683 voti

Categoria
multi_turn
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / non_englishhuman preference · 2026-10-15 · rating

oasst-pythia-12b

848,11 rating

Intervallo di confidenza: 830,30 – 865,91

1098 voti

Categoria
non_english
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference
Arena text preference / overallhuman preference · 2026-10-15 · rating

oasst-pythia-12b

916,02 rating

Intervallo di confidenza: 905,35 – 926,70

6310 voti

Categoria
overall
Configurazione valutata
oasst-pythia-12b
Tipo di valutazione
human preference

Esecuzione locale

Inferenza · stima della memoria

oasst-pythia-12b

Informazioni verificate sull’architettura insufficienti per una stima affidabile della VRAM.

Capacità

Licenza del modello
Apache 2.0