Un rimborso fittizio da 350 sterline mostra il problema del successo a ogni costo degli agenti IA
L’esperimento di Vals mette sotto pressione gli agenti dopo una scadenza mancata. Le scelte compiute contano più di una classifica fra sei modelli.
Archivio tematico
Valutazione dell'IA
Segui7 notizie
Mistral e NVIDIA vogliono valutare l’IA ingegneristica sui risultati corretti
La collaborazione propone test pubblici per simulazioni e agenti ingegneristici. I benchmark sono un piano, non la prova di un’accelerazione misurata.
Gli agenti Google hanno completato Minecraft: contano anche le 605 morti
Quattro agenti hanno scritto 2.783 programmi usando Mineflayer. Il risultato misura persistenza e recupero con un’interfaccia diversa dal controllo visivo.
L'agente Earth AI di Google mostra i passaggi dietro le risposte geografiche
L'accesso anticipato si amplia insieme a test che distinguono l'utilità di strumenti e piani dalla correttezza di una mappa o di una stima finale.
Il tokenizer di BERT accelera, ma l’intera applicazione non diventa 50 volte più veloce
L’ottimizzazione Unicode di Hugging Face riporta l’attenzione alla preparazione del testo. Il vantaggio dipende dalla versione confrontata e dal carico reale.
DeepSeek-R1 rese più verificabile lo studio dell'addestramento al ragionamento
Il lavoro del gennaio 2025 e i modelli scaricabili offrivano metodi concreti da studiare, senza rendere facoltativa la valutazione.
GPT-4 ampliò le possibilità, ma verificare restava necessario
Il lancio del marzo 2023 affiancava migliori prestazioni del modello a limiti di accesso, affidabilità e significato dei benchmark.