GPT-4 ampliò le possibilità, ma verificare restava necessario
Il lancio del marzo 2023 affiancava migliori prestazioni del modello a limiti di accesso, affidabilità e significato dei benchmark.
La presentazione di GPT-4, il 14 marzo 2023, combinava un evidente miglioramento nelle capacità dei modelli linguistici con un'avvertenza altrettanto importante: prestazioni superiori non rendevano automaticamente affidabili le risposte generate. Il lancio ampliava le attività che si potevano ragionevolmente tentare, lasciando la verifica come parte essenziale del lavoro.
Un modello più ampio, un accesso iniziale più ristretto
OpenAI descriveva GPT-4 come un modello capace di ricevere testo e immagini e produrre testo. L'annuncio della ricerca riportava risultati migliori in valutazioni professionali e accademiche, fra cui una simulazione dell'esame di abilitazione alla professione legale. Al lancio, però, la capacità distribuita su larga scala era l'inserimento di testo tramite ChatGPT e un'API con lista d'attesa; l'input di immagini rimaneva un'anteprima di ricerca ad accesso limitato.
Questa distinzione è essenziale in un archivio. Le capacità dimostrate da un modello, l'interfaccia disponibile in un prodotto e l'accesso effettivo di uno sviluppatore sono cose diverse. Presentarle come un unico insieme di funzioni farebbe apparire il lancio storico più completo di quanto fosse.
Anche i benchmark rispondono a una domanda più circoscritta di quella suggerita da un titolo d'effetto. Un risultato ottenuto con una procedura di valutazione definita fornisce prove relative a quella procedura. Non dimostra competenza professionale in ogni situazione che assomigli al test.
L'affidabilità restava una questione aperta
La presentazione del prodotto sottolineava il lavoro sulla sicurezza, il feedback umano e il miglioramento del comportamento, ma riconosceva anche allucinazioni, pregiudizi sociali e vulnerabilità a prompt avversari. OpenAI dichiarava di aver dedicato sei mesi alla sicurezza e all'allineamento e di aver coinvolto più di 50 esperti nelle prime valutazioni. Erano descrizioni del processo fornite dallo sviluppatore, non una garanzia indipendente di funzionamento senza errori.
Per gli utenti, la conseguenza pratica era distinguere l'assistenza dall'autorevolezza senza per questo scartare l'utilità del modello. Una spiegazione scorrevole poteva aiutare a organizzare un argomento difficile; le affermazioni fattuali al suo interno dovevano comunque poter essere ricondotte a prove. Un programma proposto dal modello poteva accelerare la stesura del codice; il suo comportamento richiedeva ancora test.
Il cambiamento riguardava il modo di lavorare
A posteriori, il lancio invitava a spostare l'attenzione: dalla capacità di un modello di produrre una risposta convincente al modo di usare quella risposta responsabilmente. Questa seconda domanda comprende il costo della verifica degli errori, la sensibilità del materiale e le conseguenze di un'azione fondata su una risposta sbagliata.
È un'analisi del lancio, non l'affermazione che una singola valutazione avesse risolto tali questioni. GPT-4 offriva a sviluppatori e lettori un sistema più capace da esplorare. La lezione rimasta valida è che capacità e fiducia sono problemi progettuali distinti: uno strumento può diventare molto più utile senza sostituire prove, test o decisioni umane delle quali qualcuno si assuma la responsabilità.
