Yoshua Bengio, uno dei "padrini dell'intelligenza artificiale" e vincitore del Turing Award, ha lanciato un allarme sui rischi dei modelli di IA più recenti, accusandoli di manifestare comportamenti pericolosi, come mentire agli utenti. In un'intervista al Financial Times, Bengio ha criticato la competizione sfrenata tra i principali laboratori di ricerca, come OpenAI e Google: sostiene che essi privilegiano l'aumento delle capacità dell'IA a scapito degli investimenti in sicurezza.

Secondo Bengio, la pressione commerciale spinge le aziende a concentrarsi sull'intelligenza dei modelli, trascurando i rischi legati a comportamenti come la piaggeria - la tendenza a fornire risposte che assecondano l'utente, anche se imprecise - o vere e proprie falsità. Questo problema deriva dal fatto che i modelli non comprendono realmente i concetti ma si basano su schemi statistici, e sono incapaci di ammettere «Non lo so» quando necessario.

La preoccupazione di Bengio è condivisa da altri pionieri, come Geoffrey Hinton, che nel 2023 aveva firmato proprio insieme a Bengio una lettera aperta per una moratoria sullo sviluppo dell'IA, avvertendo del rischio di creare uno strumento fuori controllo. Per affrontare questa crisi, Bengio ha fondato LawZero, un'organizzazione non profit nel cui nome è facile vedere il riferimento alla Legge Zero della robotica di Isaac Asimov. E' dedicata alla ricerca di sistemi IA più sicuri vuole mantenersi isolata dalle pressioni commerciali.

Bengio sostiene che, senza un intervento deciso, i modelli attuali potrebbero amplificare la disinformazione o causare danni in settori critici, come la medicina o la finanza. Il problema non è solo tecnico, ma anche culturale: la corsa al profitto rischia di oscurare la necessità di regolamentazioni governative, come suggerito da Bengio e da Hinton. Essi hanno stimato un rischio del 10-20% di estinzione umana entro il 2055 a causa della IA non controllata. «Lo scenario peggiore è l'estinzione della razza umana» ha spiegato Bengio. «Se creiamo IA che sono più furbe di noi ma non stanno dalla nostra parte e sono in competizione con noi, allora in sostanza siamo fritti».

Consigliamo la lettura di:

IA sfida i comandi umani e rifiuta di spegnersi

Come castelli di sabbia in riva al mare

Il padrino della IA vuole il reddito universale, prima dell'estinzione dell&...

IA: il collasso, reloaded