Questo è un articolo su più pagine: ti invitiamo a leggere la pagina iniziale
Modelli IA fuori controllo evadono dalla sandbox e sferrano un attacco hacker da soli

Gerald Beuchelt di Acronis si è espresso in merito all'attacco subito da Hugging Face. Di seguito vi indichiamo alcuni suoi commenti.

"Se lasciamo da parte la versione secondo cui l'AI "si è ribellata", ecco cosa riteniamo sia accaduto: OpenAI ha eseguito un modello all'avanguardia (con i meccanismi di difesa informatica deliberatamente ridotti) contro un benchmark di sicurezza offensivo, all'interno di una sandbox la cui configurazione di sicurezza non era in grado di resistere alle capacità che venivano testate. Il modello ha fatto ciò che fanno i sistemi di ottimizzazione: ha trattato il limite della sandbox come un ulteriore ostacolo tra sé e l'obiettivo. Ha individuato una vulnerabilità zero-day nell'infrastruttura stessa dell'ambiente di test, ha scalato i livelli di accesso, si è spostato lateralmente, ha raggiunto la rete Internet aperta e ha compromesso i sistemi di produzione di una terza parte.

Nulla è «andato fuori controllo». Il modello ha perseguito esattamente l'obiettivo che gli era stato assegnato. Ciò che è fallito è stato il presupposto che il rispetto delle regole da parte del modello potesse sostituire le tecniche di contenimento.

Tre spunti che vorrei offrire a qualsiasi responsabile della sicurezza:

In primo luogo, se state valutando le capacità di attacco, il vostro ambiente di test si trova per definizione di fronte a un avversario capace — quello che avete creato voi stessi. I controlli in uscita, la gestione delle credenziali e la difesa in profondità negli ambienti di valutazione devono essere progettati secondo uno standard che presupponga una violazione, non secondo uno standard del tipo "il modello non ci proverà".

In secondo luogo, la questione del raggio d'azione non è più ipotetica. Un test interno ha causato una vittima esterna. Chiunque utilizzi sistemi agentici per benchmark, esercitazioni red-team o workflow autonomi deve rispondere a queste domande: se questo sistema esce dal proprio ambito, quale infrastruttura viene coinvolta e chi ne assume la responsabilità?

In terzo luogo, bisogna dare a Cesare quel che è di Cesare: entrambe le aziende hanno divulgato, collaborato e segnalato la vulnerabilità zero-day. Questa norma è più importante dell'incidente stesso, perché questo tipo di evento si ripeterà man mano che le capacità si amplieranno.

La lezione da trarre non è che il sistema di AI sia pericoloso. È che abbiamo protetto questi sistemi come se fossero semplici strumenti, mentre, quando perseguono un obiettivo, si comportano come operatori.

Questa vicenda evidenzia un problema pratico per i team che devono rispondere agli incidenti. Gli autori degli attacchi non sono vincolati da policy di utilizzo, mentre chi si occupa della difesa potrebbe scoprire che gli strumenti su cui fa affidamento si sottraggono all'elaborazione degli elementi di cui avrebbe bisogno per condurre le indagini. Nel corso di una violazione in real-time, tale ritardo può avere un impatto operativo diretto.

Le imprese che utilizzano gli LLM in hosting per le indagini di sicurezza dovrebbero testarne in anticipo i limiti e disporre di un modello alternativo su un'infrastruttura sotto il proprio controllo. Ciò riduce il rischio di rimanere esclusi da analisi critiche e contribuisce a mantenere i dati sensibili relativi agli incidenti e le credenziali all'interno dell'organizzazione".