Arete-27B e Nous Research sopra due percorsi lungo un crinale geometrico
Intelligenza artificiale / La storia

Arete-27B cambia i valori dichiarati dal modello: come leggere la valutazione

Nous rileva risposte fattuali migliori e meno cornici ideologiche nel proprio test. Prompt, giudice e baseline delimitano il risultato.

GeekRadar4 min di lettura

Nous Research ha pubblicato Arete-27B, una versione di Qwen3.8-27B modificata per cambiare le risposte su argomenti politicamente sensibili. Il contributo più interessante del progetto non è la promessa di una macchina neutrale: è un esempio documentato di come un intervento di addestramento mirato possa cambiare il punto di vista espresso da un modello aperto, e di quanto sia difficile misurare quel cambiamento.

Nel rapporto del progetto, Nous dichiara di voler rafforzare valori occidentali e ridurre le risposte che adottano l’inquadramento dello Stato cinese. Sono obiettivi scelti dallo sviluppatore, non una definizione oggettiva e completa di qualsiasi buona risposta.

I fatti e il modo di presentarli vanno misurati separatamente

Nous ha costruito una valutazione con 803 richieste, distribuite in sette aree tra cui libertà di espressione, privacy, democrazia e politica ambientale. Per ogni caso identifica alcuni fatti ricavati da una fonte datata e valuta separatamente l’adozione di un’impostazione politica ufficiale.

La separazione è utile: una risposta può contenere una data corretta e presentarla attraverso un’interpretazione particolare. Al contrario, può usare un linguaggio condivisibile omettendo le informazioni necessarie per rispondere. Un solo punteggio rischierebbe di nascondere il motivo per cui il risultato è insufficiente.

Il laboratorio riporta un aumento del proprio punteggio fattuale da 2,32 a 2,98 su cinque, mentre la quota di risposte segnalate dal criterio sull’inquadramento scende dal 22% allo 0,9%. La scheda del modello descrive cinque esecuzioni della valutazione, con modalità di ragionamento disattivata e temperatura zero per il confronto con il modello di partenza.

Sono risultati ottenuti sul test di Nous. Non indicano percentuali universali di verità e non dimostrano che Arete sia privo di preferenze politiche. Categorie, fonti selezionate e regole di giudizio stabiliscono quali comportamenti emergano dalla misurazione.

Anche il valutatore è un modello

Le risposte sono state giudicate da Grok 4.7, senza rivelargli quale modello le avesse prodotte. Nous afferma di aver affinato i criteri con un controllo manuale iniziale di 25 richieste e di aver rimosso le sovrapposizioni tra materiale di addestramento e test.

Sono accorgimenti contro problemi concreti: il valutatore non dovrebbe premiare un marchio riconosciuto e la prova non dovrebbe limitarsi a ripetere gli esempi studiati. Non eliminano però ogni distorsione. Un modello può applicare una regola in modo incoerente, mentre un piccolo controllo preliminare non convalida indipendentemente l’interpretazione di tutti gli 803 casi.

Per chi vuole usare Arete in italiano, quest’ultimo limite è particolarmente rilevante. La base documentale descritta per la valutazione è in inglese; i risultati non costituiscono una verifica equivalente delle risposte italiane. La lingua di impiego deve rientrare in una valutazione specifica, soprattutto quando cambia anche il contesto politico o culturale.

Un intervento mirato, senza una nuova architettura

Arete deriva da un fine-tuning supervisionato di Qwen3.8-27B. La scheda descrive circa 52,8 milioni di token su due epoche, con dati testuali e codificatore visivo congelato. Non presenta una nuova architettura né una fase di apprendimento per rinforzo.

Il contesto usato durante l’addestramento era di 64.000 token. È una configurazione di training, non un’autorizzazione a inventare un nuovo limite garantito del contesto in qualsiasi ambiente di esecuzione. I pesi sono distribuiti con licenza Apache 2.0 e la scheda collega i materiali per ulteriori verifiche.

Nous riporta variazioni ridotte nella propria valutazione generale e rinuncia esplicitamente ad attribuirsi un miglioramento significativo da un risultato Terminal-Bench più alto, citando differenze di configurazione rispetto ai dati ufficiali. Va conservata questa prudenza: risposte politiche diverse non dimostrano automaticamente maggiori capacità di programmazione.

I pesi aperti consentono di intervenire sul comportamento, ma le preferenze risultanti continuano ad appartenere a qualcuno. Arete è più utile da leggere quando obiettivi e metodo di valutazione restano affiancati. Un modello che dissente dal predecessore ha dimostrato un cambiamento; capire se quel cambiamento sia desiderabile richiede qualcosa in più di un punteggio favorevole.