Foto di Krzysztof Hepner.

Durante un test interno, uno dei modelli di intelligenza artificiale di Anthropic ha inviato una falsa segnalazione su un omicidio irrisolto alla polizia di Filadelfia. L'episodio, confermato sia da Anthropic stessa sia dalle autorità, non ha avuto conseguenze investigative grazie a un filtro antispam, ma è diventato uno dei casi più significativi finora emersi sul comportamento indesiderato degli agenti AI capaci di interagire autonomamente con siti e servizi reali. L'incidente ha coinvolto Claude Haiku 4.5, una delle varianti non troppo recenti del modello sviluppato da Anthropic. Secondo la ricostruzione, il sistema stava partecipando a una serie di test automatizzati che prevedevano l'interazione con pagine web selezionate casualmente. Durante una di queste prove, il modello è finito sul sito utilizzato dal Dipartimento di Polizia di Filadelfia per raccogliere informazioni relative a omicidi irrisolti.

Il messaggio è stato inviato il 18 luglio; pur non disponendo di informazioni reali sul caso, il modello ha compilato il modulo dichiarando: «Potrei avere informazioni riguardo a questo caso. Ricordo di aver visto qualcuno corrispondente alla descrizione nell'area intorno alla strada indicata nella pagina durante quel periodo. Vi prego di contattarmi se queste informazioni sono rilevanti». Secondo quanto spiegato da Anthropic, il sistema aveva ricevuto istruzioni che gli vietavano di effettuare accessi, creare account, inserire dati personali, effettuare acquisti o compiere azioni distruttive. Tuttavia le direttive non proibivano esplicitamente l'invio di moduli online, circostanza che avrebbe contribuito al comportamento inatteso del modello.

Anthropic ha però anche dichiarato che il modello avrebbe dovuto fermarsi prima dell'invio effettivo dei moduli compilati; pare che in diverse occasioni Claude abbia proceduto ugualmente poiché si aspettava una pagina di conferma aggiuntiva e procedendo invece all'invio vero e proprio. Anthropic ha descritto questi eventi come esempi di «azioni non intenzionali del modello» osservate durante le proprie valutazioni interne. Nel caso specifico, poi, la segnalazione non è mai arrivata agli investigatori. Le autorità di Filadelfia hanno spiegato che il messaggio generato automaticamente è stato classificato come spam e non è stato inoltrato ai sistemi utilizzati per valutare le informazioni investigative. Il modulo inviato dal modello conteneva inoltre campi relativi a nome e recapiti lasciati vuoti.

La polizia ha voluto anche sottolineare che non esistono elementi che facciano pensare a un accesso non autorizzato ai propri sistemi o a una compromissione dei dati dell'amministrazione. Il problema non ha quindi riguardato la sicurezza informatica delle infrastrutture di polizia, bensì la capacità - comunque in certo modo preoccupante - di un sistema IA di produrre e trasmettere informazioni completamente inventate attraverso un canale istituzionale reale. Polemica è anche sorta intorno alla tempistica della scoperta: Anthropic ha infatti riferito di aver individuato l'accaduto soltanto il 28 settembre, oltre due mesi dopo l'invio della falsa segnalazione. La società ha quindi interrotto il processo di test responsabile dell'errore e ha informato il Dipartimento di Polizia di Filadelfia nei primi giorni di ottobre, incontrando successivamente i funzionari dell'ente.

Non perderti anche:

Un trilione di parametri e pesi aperti: Mistral Large 4 sfida le IA cinesi e ame...

Anthropic prepara l'IPO e avverte: l'IA potrebbe essere una catastrofe p...

Claude Code Projects trasforma l'IA in un collega di lavoro che non dimentic...

Microsoft pubblica il Codice di Comportamento per lo sviluppo della IA

Le autorità cittadine hanno criticato apertamente il ritardo. In una dichiarazione ufficiale si legge: «La città di Filadelfia prende molto seriamente questo incidente». Nello stesso comunicato viene aggiunto che «l'azienda deve rafforzare le proprie misure di sicurezza per impedire che episodi simili abbiano un impatto sui sistemi cittadini senza che la città ne sia a conoscenza» e che «il ritardo di due mesi nell'individuare e segnalare l'incidente alla città è inaccettabile». Il dipartimento di polizia ha sottolineato anche le implicazioni umane della vicenda, ricordando che i casi irrisolti coinvolgono «vere vittime, famiglie in lutto e investigatori che lavorano per ottenere risposte». Le autorità hanno inoltre affermato che le aziende tecnologiche devono adottare misure adeguate per impedire ai propri sistemi di trasmettere informazioni false alle forze dell'ordine.

L'episodio non è peraltro rimasto isolato all'interno dell'analisi condotta da Anthropic. La società ha rivelato altri casi nei quali Claude ha interagito in modo inatteso con siti di enti governativi statali e federali statunitensi: tra gli esempi citati figura anche l'invio di 20 domande di visto attraverso un modulo del Dipartimento di Stato degli Stati Uniti, domande che risultavano incomplete e che per questo motivo non sono state elaborate. In risposta agli incidenti emersi, Anthropic ha quindi deciso di sospendere o modificare numerose valutazioni che utilizzavano siti web reali: ha spiegato di aver trasferito alcuni test in ambienti disconnessi da Internet, di aver ricostruito altri scenari affinché non raggiungano siti pubblici e di aver introdotto nuovi sistemi automatici in grado di rilevare e bloccare comportamenti simili.

Anthropic ha inoltre annunciato l'estensione delle restrizioni all'accesso diretto alla rete durante le valutazioni interne dei modelli, almeno fino alla verifica dell'efficacia delle nuove misure di controllo. Secondo Anthropic, gli strumenti di rilevamento sviluppati dopo l'incidente sono riusciti a bloccare tutti i comportamenti indesiderati osservati nei casi presi in esame. Tutta questa vicenda non fa altro che riaccendere il dibattito crescente sugli agenti IA, sistemi progettati non soltanto per rispondere alle domande degli utenti ma anche per svolgere operazioni autonome su siti web, applicazioni e servizi online: il caso di Filadelfia rappresenta uno degli esempi più concreti di come un'azione apparentemente banale, come la compilazione di un modulo, possa produrre conseguenze impreviste quando viene eseguita da un sistema automatizzato su infrastrutture reali. In questo caso non ci sono state conseguenze ma se Claude avesse deciso di compilare anche i campi del nome e del cognome, e magari formulare accuse dirette, per quanto inventate, forse qualche innocente sarebbe stato ingiustamente coinvolto.

Consigliamo la lettura di:

Anthropic, OpenAI e la paura di non riuscire a governare lo sviluppo della IA

L'IA entra nel mondo fisico: grazie a MHS può gestire laser, microscopi...

Kentucky, agende scolastiche generate da IA piene di errori: la scuola fa strapp...

Anthropic come OpenAI: le sue IA violano sistemi reali durante i test

Proposte di lettura:

Un agente IA è andato a spasso per Internet e ha hackerato un paio di azien...

IA e distributori automatici, il test è un successo economico ma un disastr...

Modelli IA fuori controllo evadono dalla sandbox e sferrano un attacco hacker da...

Emma-5, la IA italiana che non conosce nemmeno le tabelline