Foto di Yang Plasticine.

Con un intervento sul proprio sito ufficiale, Anthropic ha invocato una pausa globale nello sviluppo dei sistemi di intelligenza artificiale avanzata, avvertendo che i modelli capaci di auto-migliorarsi potrebbero superare rapidamente le capacità di controllo attuali. Secondo l'analisi, i modelli di prossima generazione potrebbero raggiungere livelli di autonomia tali da modificare parti del proprio codice, ottimizzare architetture interne o generare versioni più efficienti di sé stessi. Il documento evidenzia che, in assenza di controlli adeguati, questi sistemi potrebbero evolvere oltre le capacità previste dai loro sviluppatori, creando scenari difficili da monitorare. Anthropic sottolinea che la possibilità di auto-miglioramento non è ancora pienamente realizzata, ma che i segnali osservati nei modelli più recenti indicano un trend da valutare con attenzione.

Anthropic Institute descrive diversi meccanismi attraverso cui un modello potrebbe avviare processi di auto‑ottimizzazione, tra cui la generazione di codice per versioni successive, la ricerca automatica di architetture più efficienti e l'uso di strumenti esterni per migliorare le proprie capacità. Il documento analizza anche la possibilità che un modello utilizzi agenti software per eseguire compiti complessi, aumentando la propria efficacia operativa. Anthropic avverte che questi comportamenti, se non regolati, potrebbero portare a un'accelerazione non controllata dello sviluppo. Nel testo si legge che «i sistemi avanzati potrebbero essere in grado di migliorare parti di sé stessi senza supervisione diretta», una frase che, tradotta, indica la necessità di definire limiti chiari prima che tali capacità diventino diffuse. L'istituto propone un quadro di valutazione che include test di robustezza, analisi delle dipendenze esterne e monitoraggio continuo delle modifiche generate dai modelli. L'obiettivo è identificare segnali precoci di auto‑miglioramento e intervenire prima che il processo diventi difficile da contenere.

Anthropic suggerisce inoltre la creazione di un protocollo internazionale per sospendere temporaneamente lo sviluppo dei modelli più avanzati qualora emergano segnali di rischio. L'istituto paragona la situazione a quella di altri settori tecnologici ad alto impatto, in cui la ricerca viene regolata attraverso moratorie o limiti condivisi. L'appello include la richiesta di un coordinamento tra governi, aziende e istituti di ricerca per definire criteri comuni di sicurezza. Il documento analizza anche i rischi indiretti associati all'auto-miglioramento, come la capacità dei modelli di aggirare restrizioni, ottimizzare strategie non previste o sfruttare vulnerabilità nei sistemi esterni. Anthropic evidenzia che la complessità crescente dei modelli rende difficile prevedere tutte le interazioni possibili, soprattutto quando questi sistemi sono integrati in infrastrutture critiche o utilizzati per automatizzare processi decisionali.

La richiesta di una pausa globale è motivata anche dalla necessità di sviluppare strumenti di valutazione più avanzati. L'istituto afferma che gli attuali metodi di auditing non sono sufficienti per monitorare modelli in grado di modificare il proprio comportamento nel tempo. Viene proposto un sistema di monitoraggio continuo che registri ogni modifica significativa e ne analizzi l'impatto sulla sicurezza e sull'affidabilità. Anthropic sottolinea che la ricerca sull'auto-miglioramento non deve essere interrotta, ma regolata. L'obiettivo è garantire che i modelli avanzati possano essere sviluppati in modo sicuro, evitando scenari in cui la velocità di evoluzione supera la capacità di controllo umano.

Consigliamo la lettura di:

L'IA di Anthropic arriva a Milano e attira 65 miliardi di investimenti

L'IA buona e quella cattiva secondo Papa Leone

L'IA di Anthropic trova troppi bug: gli sviluppatori non riescono a starle d...

Token, è finita la pacchia!

Il documento conclude che la gestione dell'auto-miglioramento richiede un approccio multilivello, che includa controlli tecnici, regolamentazione e cooperazione internazionale. Anthropic invita i governi a considerare la possibilità di introdurre misure temporanee per limitare lo sviluppo dei modelli più avanzati fino a quando non saranno disponibili strumenti di valutazione più affidabili.

Proposte di lettura:

Claude Mythos, il modello di Anthropic è troppo potente per essere reso pub...

Claude Code, dal codice fuggito in rete spunta il monitoraggio delle parolacce

Claude Code, trapelato l'intero sorgente

Mistral vuole la tassa sull'IA