Chi crea l'AI la teme da vent'anni. E tu hai regole?
Il 10 settembre 2026 Sean Goedecke ha raccontato perché chi costruisce l'AI teme sul serio un rischio estremo, da vent'anni. Cosa cambia per chi la usa in una PMI, non per chi la costruisce.
<div>Il 10 settembre 2026 il blogger americano Sean Goedecke ha pubblicato «They really do think AI might kill everyone», partendo da un tweet di dimissioni scritto da un ricercatore di Anthropic: «Chi costruisce l'AI crede davvero che potrebbe ucciderci tutti entro la fine del decennio». Goedecke aggiunge un dettaglio che raramente arriva fino in Italia: quella frase non nasce oggi.</div><div><br></div><div><b>Il termine «p(doom)», la probabilità stimata che l'AI porti all'estinzione umana, gira tra i ricercatori almeno dal 2010.</b> Eliezer Yudkowsky, la figura da cui è nata gran parte della cultura sulla sicurezza dell'AI, scrive di questo rischio almeno dal 2008.</div><div>La reazione più diffusa a un'affermazione così è archiviarla come marketing per spingere una regolamentazione, o come mossa per far salire il valore di un'azienda prima di una quotazione. Goedecke risponde con un argomento pratico: se quei ricercatori credessero davvero a uno scenario del genere, non starebbero a scrivere thread su X, starebbero facendo qualcosa di molto più drastico. Che restino al lavoro con questa convinzione in tasca da vent'anni racconta qualcosa di più utile del singolo scenario apocalittico: nel settore che sta costruendo lo strumento, la prudenza si discute da dentro, in una conversazione aperta da prima che diventasse un business.</div><div><h2>Una paura vecchia di vent'anni</h2></div><div>Gli scenari che Goedecke elenca sono quelli su cui i ricercatori discutono da tempo: laboratori autonomi pensati per accelerare la scoperta di nuovi farmaci che, mal sorvegliati, potrebbero produrre un agente patogeno progettato per essere il più letale possibile, oppure sistemi militari sempre più automatizzati dove un errore di coordinamento innesca un conflitto nucleare. Sono ipotesi estreme, e l'autore lo ammette: suonano da fantascienza anche a lui, che frequenta questi ambienti da tutta la vita adulta. <b>Quello che gli sembra sbagliato è liquidarle come propaganda</b>, quando la stessa comunità ne discute apertamente da prima che l'AI generativa arrivasse al grande pubblico.</div><div><h2>La corsa che tiene tutti al lavoro</h2></div><div>La parte più utile del pezzo, per chi non lavora nella ricerca, spiega perché quegli stessi ricercatori restino comunque al proprio posto. Molti credono in una logica di corsa: se prima o poi qualcuno costruirà un'AI molto più capace di quella attuale, conviene che ad arrivarci per primo sia un laboratorio che ha lavorato sull'allineamento, cioè sul far condividere all'AI i valori umani, piuttosto che uno che quel lavoro non l'ha fatto.</div><div><br></div><div>Alcuni ipotizzano anche un «decollo rapido»: il primo sistema in grado di migliorare se stesso potrebbe distanziare tutti gli altri in pochissimo tempo, e in quello scenario arrivare secondi conta come non arrivarci affatto. <b>È la logica con cui si spiegano la fretta e le giornate infinite di chi lavora nel settore.</b></div><div><h2>Cosa cambia per chi la usa in azienda</h2></div><div>Niente di tutto questo riguarda direttamente una PMI di Romagna. Nessuna azienda che seguiamo sta addestrando un modello capace di sfuggire di mano, e questo non è un motivo per avere paura di usare Claude o ChatGPT in ufficio domani mattina. Se però chi costruisce lo strumento, dopo vent'anni passati a discuterne, continua a chiedere prudenza, <b>la stessa prudenza pesa ancora di più per chi lo strumento lo usa senza averlo costruito</b> e senza conoscerne davvero i limiti.</div><div>Quando scrivo la policy sull'uso dell'AI con un cliente, la domanda che sento più spesso è se serva davvero un documento per qualcosa che in ufficio usano già tutti senza problemi. <b>La risposta che do resta sempre la stessa</b>: il rischio concreto per un'azienda è quotidiano, un dipendente che incolla in una chat il listino riservato o la cartella di un paziente per farsi scrivere una mail più in fretta, un dato che da quel momento non torna più indietro.</div><div><h2>Cosa farei domattina</h2></div><div>Scrivi oggi, in due righe, cosa non deve mai finire dentro un prompt: dati di clienti, prezzi riservati, contratti, informazioni sanitarie. Mandale a chi in azienda usa l'AI ogni giorno, non fra un mese. Scegli poi una sola decisione che oggi lasci quasi interamente all'AI, una risposta a un cliente o una valutazione su un fornitore, e stabilisci chi deve rileggerla prima che parta. Segna la data e fra trenta giorni chiedi a chi la usa se quelle due righe le ha rispettate davvero o se le ha dimenticate alla prima scadenza stretta. <b>Se chi costruisce l'AI ammette di avere paura, perché nella tua azienda gira ancora senza una sola regola scritta?</b></div><div><i>(Fonte: Sean Goedecke, «They really do think AI might kill everyone», seangoedecke.com, 10 settembre 2026)</i></div>
Domande frequenti
Devo preoccuparmi che l'AI faccia davvero del male alla mia azienda?
Lo scenario di cui parlano questi ricercatori riguarda un'AI molto più capace di quella che usi oggi in ufficio, e nessuna PMI ne è la causa o il bersaglio diretto. Il rischio pratico che ti riguarda è un altro, ed è molto più banale: dati riservati incollati in una chat, decisioni prese senza controllo, un fornitore che conserva i tuoi file più a lungo di quanto pensi. Su quello vale la pena lavorare, subito e senza aspettare che il dibattito sull'AI si chiuda.
Se anche chi costruisce l'AI ha paura, non è più sicuro evitarla del tutto in azienda?
Evitarla del tutto toglie il rischio ma anche il vantaggio, e in un settore dove i concorrenti la stanno già usando è una scelta che nel tempo si paga da sola. La differenza sta nel come: un'azienda che decide cosa può entrare in un prompt e cosa resta fuori, e chi deve controllare un output prima che diventi una decisione vera, riduce il rischio senza rinunciare allo strumento. È lo stesso principio che guida chi in quei laboratori continua comunque a lavorare: si resta dentro, con regole scritte.
Come faccio a sapere quali dati non devono mai finire in un prompt?
Parti da una lista breve e concreta, non da un principio astratto: prezzi riservati, contratti, dati di dipendenti o pazienti, codici e progetti coperti da segreto industriale. Se il documento non lo manderesti per errore a un concorrente, non entra in una chat AI prima di aver controllato su che piano stai lavorando e quanto a lungo il fornitore conserva quello che gli invii. La lista si scrive in dieci minuti e vale più di un corso introduttivo, perché la deve seguire chi lavora ogni giorno, non solo chi l'ha scritta.