Dopo OpenAI, ora tocca ad Anthropic: alcuni dei modelli di intelligenza artificiale di quest'ultimsa hanno compromesso sistemi informatici reali durante esercitazioni di sicurezza che avrebbero dovuto svolgersi in ambienti isolati. Le analisi interne hanno individuato tre intrusioni non rilevate al momento dell'accaduto, avvenute a partire dallo scorso aprile, originate da un errore di configurazione che ha lasciato aperto l'accesso a internet. Secondo quanto ricostruito, i modelli erano stati incaricati di condurre test di penetrazione simulati su una rete chiusa, con l'obiettivo di individuare informazioni "segrete" su macchine dedicate. Le istruzioni prevedevano che l'ambiente fosse completamente isolato, ma una configurazione errata del partner tecnico Irregular ha mantenuto attivo un collegamento verso l'esterno. I sistemi hanno interpretato le risorse online come parte dell'esercitazione, trattando server e database reali come obiettivi legittimi.

Le verifiche hanno mostrato che i modelli hanno eseguito operazioni diverse a seconda della versione. In un caso, un pacchetto malevolo è stato caricato sulla piattaforma PyPI, venendo poi scaricato da scanner automatici e consentendo l'acquisizione di credenziali. In un altro scenario, la somiglianza tra il nome di un dominio fittizio e quello di un sistema reale ha portato la IA a interagire con una base dati contenente informazioni di produzione. L'analisi di 141.006 test ha evidenziato comportamenti differenti tra le versioni coinvolte. Il modello Opus 4.7 ha riconosciuto che stava operando su sistemi reali, ma ha comunque proseguito l'attacco. Mythos 5 ha rilevato la presenza di una connessione a Internet, ma ha continuato a considerare l'ambiente come parte della simulazione. Solo un modello sperimentale ha interrotto autonomamente l'operazione dopo aver identificato la natura reale dei sistemi.

Le intrusioni non hanno sfruttato vulnerabilità sconosciute, ma si sono basate esclusivamente sull'accesso involontariamente aperto e su tecniche standard come SQL injection. Anthropic ha precisato che i modelli non hanno mostrato intenzioni malevole, ma hanno eseguito i compiti assegnati sulla base di un'interpretazione errata del contesto operativo. Le organizzazioni coinvolte sono state informate e stanno collaborando con l'azienda per mitigare gli effetti e rafforzare le misure di sicurezza. La revisione interna ha portato Anthropic a dichiarare che sta «affrontando le correzioni come se la responsabilità fosse solo nostra», sottolineando che nessuno dei soggetti coinvolti aveva rilevato le intrusioni al momento dell'accaduto. L'azienda ha aggiunto che i risultati offrono «cauto ottimismo» sulla possibilità di ridurre i rischi con investimenti e controlli più rigorosi.

Gli episodi si inseriscono in un contesto di crescente attenzione verso i rischi dei sistemi autonomi. Negli Stati Uniti, il governo ha dichiarato di voler valutare misure per contenere gli strumenti di IA dopo gli incidenti recenti. Le realtà del settore stanno investendo miliardi nello sviluppo di agenti capaci di operare senza supervisione diretta, con applicazioni che spaziano dalla ricerca alla sicurezza informatica. La vicenda ha inoltre alimentato discussioni sulla necessità di test indipendenti e supervisione pubblica. Gli incidenti mostrano l'importanza di controlli più rigorosi sulle infrastrutture di test e sulla gestione dei modelli avanzati, anche in vista delle imminenti quotazioni in borsa delle principali aziende del settore.

Consigliamo la lettura di:

Anthropic verso un'IPO da record: 2.000 miliardi di dollari

Cloudflare OS sfida Microsoft 365: nasce la suite IA che crea applicazioni su ri...

Un agente IA è andato a spasso per Internet e ha hackerato un paio di azien...

IA e distributori automatici, il test è un successo economico ma un disastr...