Il simbolo di Gemini nell’annuncio di Google su Tool Retrieval.
Intelligenza artificiale / La storia

Gemini carica le funzioni su richiesta. Quando si risparmiano davvero token?

Con Tool Retrieval lo schema di una funzione può restare fuori dal contesto iniziale. A incidere sul conto è anche la lunghezza della conversazione quando Gemini lo recupera.

GeekRadar3 min di lettura

«Il mio pacco arriverà martedì?» Per rispondere può bastare una funzione che interroga il servizio spedizioni. Eppure un assistente per un negozio online può ricevere, insieme alla domanda, anche le istruzioni per emettere rimborsi, modificare una fattura o prenotare una riparazione. Con Tool Retrieval, in anteprima nelle API Gemini, Google permette di caricare i dettagli di ciascuna funzione quando servono. Il risparmio dipende anche da quanto è lunga la conversazione nel momento in cui Gemini va a cercarli.

L’annuncio di Google del 19 novembre riguarda la versione beta di Interactions API. Tra i modelli supportati c’è Gemini 4 Hydrogen. Per un’applicazione che oggi usa il metodo generateContent, attivare un’opzione nella richiesta esistente non basta: la funzione è disponibile sull’altra interfaccia.

Prima il nome, poi le istruzioni

Una funzione ha uno schema dei parametri, ossia la descrizione dei dati da passarle. Per rintracciare un pacco possono servire il numero dell’ordine e il CAP. Per un rimborso entrano in gioco anche l’importo, la valuta e il motivo della richiesta. Lo schema serve a costruire una chiamata valida. Se però il negozio dichiara un centinaio di funzioni per ogni domanda, anche la più semplice si porta dietro un manuale piuttosto voluminoso.

Nella ricerca gestita da Google, lo sviluppatore fornisce comunque gli schemi completi. Gemini vede subito il nome e una breve descrizione delle funzioni a caricamento differito. Può cercarne una per nome, acquisirne i parametri e infine formulare la chiamata. La documentazione tecnica mostra come riconoscere separatamente i tre passaggi. È una distinzione utile quando qualcosa va storto: si può scoprire se l’assistente ha cercato la funzione sbagliata o ha scelto quella giusta passandole un dato errato.

Di conseguenza, poche parole possono fare la differenza. «Cerca un cliente» descrive altrettanto bene una ricerca nell’archivio della fatturazione e una nello storico dell’assistenza. Specificare l’archivio già nella breve descrizione permette al modello di orientarsi prima di aprire lo schema dettagliato.

Un cambio di valuta come esempio. Gemini cerca la funzione, ne riceve lo schema dei parametri e formula la richiesta di conversione.
Un cambio di valuta come esempio. Gemini cerca la funzione, ne riceve lo schema dei parametri e formula la richiesta di conversione.

Il costo di una seconda lettura

La ricerca sul server si conclude all’interno della stessa richiesta API. Al suo interno, però, viene effettuata un’altra chiamata al modello, che riceve il contesto della conversazione insieme agli schemi recuperati. I relativi token compaiono nel campo total_tool_use_tokens e sono fatturati alla tariffa di input. Uno schema aperto rimane inoltre a disposizione nei turni successivi. Le regole di fatturazione

Per chi ha già calcolato quanto costa il contesto di Gemini 4 Hydrogen, la prova più istruttiva è ripetere la stessa pratica con le due configurazioni. Accanto al dato sui token di input (total_input_tokens) vanno messi quelli impiegati nella ricerca, le funzioni chiamate e l’esito per il cliente. Un primo messaggio più leggero si vede subito. Il costo della risposta a quel «martedì?» si conosce soltanto a pratica chiusa.