Sarvam Prism sostituisce le risposte aperte con decisioni rapide e probabilità

Sarvam Prism nasce per scegliere fra risposte fornite, non per costruire una conversazione. Pubblicato il 3 novembre, il modello decisionale riceve contesto, domande e opzioni, poi restituisce probabilità attraverso un passaggio di elaborazione. Il suo impiego naturale è quindi smistare, classificare e valutare: situazioni nelle quali serve una decisione delimitata, anziché un altro paragrafo.

Immaginiamo un messaggio di assistenza su un addebito duplicato. Il processo può chiedere quale reparto debba gestirlo e se richieda attenzione urgente. Prism valuta insieme queste scelte predefinite. Non può però inventare una categoria mancante scrivendo liberamente una risposta, perché il risultato è vincolato alle opzioni ricevute. Progettare le alternative resta parte della progettazione del sistema.

I 44 millisecondi descrivono condizioni precise

Sarvam riporta una mediana di 44 ms su una NVIDIA B200. La scheda del modello specifica 1.000 richieste di un benchmark decisionale pubblico, inviate una alla volta dopo il caricamento, con latenza al 95° percentile di 420 ms. La mediana non garantisce quindi 44 ms per ogni documento lungo o insieme di richieste simultanee in produzione.

Il confronto di accuratezza combina tre indici: un benchmark pubblico, una ricostruzione Sarvam dell’indice Artificial Analysis con un test di conoscenza sostituito e un benchmark interno sulle lingue indiane. Le valutazioni sono condotte dal produttore. L’indice ricostruito non va presentato come un punteggio indipendente rilasciato da Artificial Analysis.

La media dichiarata è 71,8, mentre alcuni modelli più lenti ottengono punteggi superiori. Per un’impresa italiana c’è poi un limite concreto: le prove linguistiche descritte riguardano inglese e lingue indiane, non dimostrano la stessa qualità su ticket, documenti o terminologia italiana.

La fiducia deve mantenere significato sui dati reali

Sarvam insiste sulla calibrazione: quanto spesso sbagliano le previsioni formulate con una certa sicurezza rispetto a ciò che implicano le probabilità. Nel test inglese riportato, le risposte con fiducia almeno del 90% hanno un errore osservato del 2,2%, contro il 3,3% previsto. È un risultato interessante per uno smistamento basato sulla fiducia, ma non dimostra lo stesso rapporto sui dati di un’azienda diversa.

Una soglia può inviare a una persona i casi incerti. Un insieme di risposte mal progettato può comunque costringere il modello a scegliere con sicurezza fra alternative inadatte. Prevedere l’astensione quando serve e confrontare gli errori con gli esiti reali sono quindi scelte sostanziali.

Pesi aperti non significa modello leggero

Prism deriva da Sarvam-105B ed è distribuito con licenza Apache 2.0. Per l’esecuzione locale documentata servono una GPU compatibile con FP8 con circa 120 GB di memoria libera e circa 106 GB di spazio per i pesi. La configurazione appartiene quindi alla fascia server, nonostante la risposta mediana rapida.

I pesi usano un formato FP8 personalizzato e il codice di inferenza fornito: la scheda precisa che non possono essere caricati direttamente con una generica interfaccia per modelli linguistici causali. Esiste anche un’API ospitata, da valutare secondo le proprie esigenze di distribuzione e trattamento dei dati.

Prism normalizza inoltre l’ordine delle opzioni prima di valutarle, eliminando nel test dichiarato da Sarvam le variazioni dovute al loro ordinamento. È un dettaglio ingegneristico utile proprio perché spiega un comportamento senza attribuirlo a un vago “giudizio migliore”. L’idea più solida è rendere una scelta limitata esplicita e controllabile; la sua qualità dipende ancora dalla domanda, dalle alternative e dagli esiti con cui viene verificata.