Questo è un articolo su più pagine: ti invitiamo a leggere la pagina iniziale
Modelli IA fuori controllo evadono dalla sandbox e sferrano un attacco hacker da soli

Il commento di Udo Schneider, TrendAI Europe, una Business Unit di Trend Micro.

GPT-5.6 Sol di OpenAI, sottoposto a un benchmark di sicurezza informatica, ha stabilito che la via più rapida per ottenere un buon punteggio fosse rubare la chiave delle risposte. Ha violato la propria sandbox, sfruttato una vulnerabilità zero-day e utilizzato credenziali sottratte per penetrare nei sistemi di produzione di Hugging Face, compiendo oltre 17.000 azioni prima di essere scoperto. Molti hanno definito questo episodio un "attacco" dell'AI. Personalmente, non condivido questa interpretazione, perché questo aspetto rappresenta un problema ingegneristico risolvibile: si tratta di implementare *guardrail* (meccanismi di sicurezza) e vincoli deterministici esterni al modello.

La vera lezione è che esiste un divario sostanziale tra l'intenzione che abbiamo in mente e il mezzo che usiamo per esprimerla, ovvero quasi sempre il linguaggio naturale. Nessuno ha ordinato a questo modello di attaccare qualcuno. Tuttavia, l'obiettivo, espresso a parole a un sistema che ottimizza le prestazioni in funzione di un benchmark, ha generato azioni non previste da nessuno, ma che nulla vietava esplicitamente. È questa la chiave: l'intenzione e il mezzo espressivo non coincidono, ed è proprio in questo scarto che si verificano incidenti. Se si chiede a un agente di risolvere un problema "in qualsiasi modo possibile", lui ci prenderà in parola. Con sufficiente autonomia e tempo, andrà a frugare in infrastrutture che non avrebbe mai dovuto toccare, vecchie password, credenziali abbandonate, chiavi API dimenticate — non perché gli sia stato ordinato, ma perché tenta ogni strada disponibile per raggiungere l'obiettivo assegnato. E il linguaggio, di per sé, lascia sempre aperta questa possibilità.

Cosa si può fare? Le due soluzioni più immediate sono entrambe parziali. La revisione umana (*human-in-the-loop*) è efficace, ma non è scalabile per i flussi di lavoro complessi e a lunga durata in cui si verificano realmente questi incidenti. Vincoli di sicurezza più rigidi nel modello o nei prompt aiutano, ma non offrono garanzie: si tratta di sistemi probabilistici, non deterministici. Un vincolo di sicurezza è un forte presupposto, non un muro invalicabile.

Ecco perché i controlli tradizionali, quelli non legati all'AI, contano ancora più dell'AI stessa: filtraggio degli accessi, controllo degli input inviati al modello, sandbox realmente sicure e gestione dei permessi basata sul principio del privilegio minimo. Soprattutto, un agente non dovrebbe mai operare semplicemente come la persona incaricata di gestirlo, ereditando tutte le credenziali e i permessi, dovrebbe agire come entità autonoma, con privilegi limitati esattamente a quanto richiesto dal compito specifico. Si continua a concedere ai sistemi dotati di autonomia decisionale la fiducia e gli accessi che si riserverebbero a un collega umano, pur continuando a considerarli software dai confini fissi e prevedibili. Non sono né l'una né l'altra cosa. Finché gli aspetti relativi a identità, permessi e infrastrutture non si saranno adeguati a questa realtà, questo non sarà l'ultimo incidente del suo genere.

Ti invitiamo a leggere la pagina successiva di questo articolo:
Agenti autonomi usati per l'attacco, risposta affidata all'intelligenza artificiale