I benchmark li scrive chi vende. Tu su cosa misuri?

<div>Il 12 agosto 2026 xAI ha annunciato Grok 4.6, presentandolo come un modello costruito attorno agli agenti a esecuzione lunga, cioè compiti che vanno avanti per molti passaggi senza perdersi per strada. L'annuncio dichiara di pareggiare GPT-5.6 Sol sull'Artificial Analysis Intelligence Index, un indice composito di nove prove, con <b>61 punti contro i 56 del modello precedente</b>. Il prezzo dichiarato parte da 2 dollari per milione di token in ingresso e 6 in uscita, con una variante veloce che costa il doppio.</div>
<div><br></div>
<div>Fin qui la notizia com'è arrivata. Poi si legge la tabella per intero, e diventa un ottimo esercizio da portare in aula.</div>
<div><h2>Chi ha misurato cosa</h2></div>
<div>La tabella pubblicata da xAI ha dieci righe di benchmark e mette a confronto quattro modelli. <b>Su quelle dieci righe Grok 4.6 arriva primo tre volte</b>, mentre Fable 5 è in testa cinque volte e GPT-5.6 Sol due. Va riconosciuto che l'azienda ha pubblicato anche le righe in cui perde, cosa non scontata in un materiale di lancio, e infatti su una prova si ferma a tre quarti del punteggio del migliore, 26% contro 34,6%.</div>
<div><br></div>
<div>Il dettaglio che conta di più sta scritto in piccolo sotto la tabella: i punteggi dei modelli concorrenti sono «i migliori fra quelli auto-dichiarati o pubblicamente disponibili». Nella didascalia del grafico xAI aggiunge che quei dati arrivano dalle system card o dalle classifiche pubblicate dai rispettivi sviluppatori. Si confronta quindi un numero prodotto in casa con numeri presi dal marketing altrui, in condizioni non necessariamente identiche.</div>
<div><br></div>
<div>C'è anche un dettaglio nell'intestazione che quasi nessuno guarda: sotto il nome di ogni modello è indicato lo sforzo di ragionamento, e i due modelli di casa sono misurati su «High» mentre i due concorrenti stanno su «Max». L'annuncio non spiega quanto questo pesi sul confronto, e nemmeno io lo interpreto, però sta lì scritto.</div>
<div><br></div>
<div>Nell'intera pagina non c'è una sola cifra verificata da un terzo. Questa azienda non ha nessuna colpa particolare, poiché funzionano così tutti gli annunci di modelli: <b>un documento di parte, con dentro numeri veri, che serve a vendere</b>. Trattarlo per quello che è vale più di qualunque commento su chi sia il più bravo questa settimana, tanto più che ormai <a href="/blog/il-modello-da-solo-non-e-piu-il-prodotto-la-lezione-di-kimi-k3">il modello da solo non è più il prodotto</a>.</div>
<div><h2>Il modello era lo stesso di sempre</h2></div>
<div>In un centro medico polispecialistico della Romagna, a luglio, la responsabile amministrativa mi ha raccontato la rendicontazione mensile al servizio sanitario. Esporta dal gestionale l'elenco degli esami, poi lo lavora a mano aggiungendo sconto, ticket e netto, e smista ogni prestazione dentro il lotto giusto. La prima volta, ad aprile, ha fatto tutto a mano: «ho lavorato una notte intera».</div>
<div><br></div>
<div>Il mese dopo ha caricato lo stesso file in ChatGPT. Sbagliava la suddivisione, non inseriva le righe prive di descrizione, saltava un lotto intero, sbagliava i ticket. È tornato corretto al terzo tentativo.</div>
<div><br></div>
<div>Il modello era esattamente quello che usava da mesi, quindi a cambiare non era stato lo strumento: <b>quello che mancava erano le regole scritte, che stavano solo nella sua testa</b>. La soluzione costruita al workshop ha lasciato lo strumento dov'era e ha congelato la procedura dentro un assistente configurato, dove le regole stanno a monte e l'unica cosa che cambia ogni mese sono i file. Se hai confusione, l'AI aumenta la confusione invece di metterti ordine, ed è la ragione per cui <a href="/blog/lai-al-telefono-di-openai-risolve-tre-chiamate-su-quattro">le regole si scrivono prima di accendere un agente</a>.</div>
<div><br></div>
<div>C'è un particolare che vale il resto del racconto: si è accorta degli errori perché ad aprile quel lavoro l'aveva fatto a mano tutta la notte. Senza quel file costruito riga per riga, un risultato sbagliato ma dall'aria ordinata sarebbe passato, e lì dentro ci sono soldi veri, poiché su quella rendicontazione il budget annuo della convenzione è di 243.000 euro, ripartiti lotto per lotto.</div>
<div><h2>«Non è il nostro mestiere, quindi non siamo mai aggiornati»</h2></div>
<div>L'obiezione che sento più spesso quando racconto queste cose l'ha formulata meglio di tutti la persona che tiene insieme marketing e rete vendita in un'azienda metalmeccanica del ravennate. Le stavo raccontando che dopo il percorso c'è un secondo tempo, A.I. Moment Evolution, con una giornata di presidio al mese, e le ho riportato la frase che mi ripetono ovunque, quella del modello nuovo che esce fra un mese e del tempo che non c'è. Lei l'ha completata da sola: «sei l'esperto, noi per quanta buona volontà ci possiamo mettere, non è il nostro mestiere, quindi non siamo mai aggiornati».</div>
<div><br></div>
<div>Ha ragione, e la conseguenza è l'opposto di quella che si immagina. Se stare dietro agli annunci non è il tuo mestiere, allora <b>smettere di guardarli è la scelta razionale</b>, purché tu abbia un modo tuo per capire quando conviene muoversi. Quel modo esiste ed è più semplice della lettura di una tabella.</div>
<div><h2>L'onestà su questa storia</h2></div>
<div>Su questa fonte non ho problemi di accesso, poiché l'annuncio è pubblico e l'ho letto per intero, tabella compresa. Vanno segnalate due assenze, che nell'annuncio non ci sono e che quindi qui non troverai: nessun dato sulla finestra di contesto, e nessun numero su velocità o latenza, a parte l'esistenza di una variante veloce che costa il doppio.</div>
<div><br></div>
<div>Aggiungo una cosa che mi riguarda. Il caso del centro medico ha un «prima» misurato, una notte al mese, e non ha ancora un «dopo» verificato con lo stesso metro: la procedura è stata costruita e collaudata su dati veri, e il primo mese in autonomia è arrivato dopo. Un tempo misurato prima di toccare un processo dice quanto costa il problema, non quanto vale la soluzione, e chi te lo gira al contrario ti sta vendendo qualcosa.</div>
<div><h2>Cosa farei domattina</h2></div>
<div>Costruisci il tuo banco di prova. Prendi venti casi veri già chiusi, mail a cui hai già risposto e documenti che hai già lavorato, quelli normali invece degli eccezionali, e accanto a ognuno metti la risposta che è davvero uscita: è la parte che nessuno fa e che vale tutto il resto. Poi dai gli stessi casi a due o tre strumenti e conta quante volte il risultato è utilizzabile senza rimetterci mano. Mezza giornata, una persona sola. <b>Quando esce un modello nuovo rimetti in circolo i tuoi venti casi e guardi se il numero si muove</b>: mezz'ora, e ti dice l'unica cosa che ti interessa.</div>
<div><br></div>
<div><i>(Fonte: xAI, «Introducing Grok 4.6», annuncio ufficiale del 12 agosto 2026, con la tabella «Evals» e la sezione sui prezzi e la disponibilità.)</i></div>