L'apparizione di sistemi di intelligenza artificiale come il recente ChatGPT ha - in quest'ultimo scorcio di 2022 - destato le preoccupazioni di quanti per vivere creano opere e contenuti che richiedono una buona dose di impegno mentale, si tratti di artisti, di scrittori, o di programmatori.

Le creazioni di Dall-E, o dello stesso ChatGPT hanno spinto molti a pensare che presto non ci sarà più bisogno dell'intervento umano per questo genere di attività, poiché la IA sarà in grado di svolgerle con la stessa qualità delle persone e molto più rapidamente.

In realtà, a ben guardare, le opere delle IA hanno spesso qualche difetto molto evidente, sia che si tratti di immagini (in particolare, pare che i software trovino difficile realizzare le mani dei soggetti in maniera convincente), sia che si tratti di testi (formalmente spesso perfetti, ma con una coerenza interna che cala all'aumentare della lunghezza del testo, per non parlare degli svarioni affermati con granitica certezza), sia che si tratti di codice.

A notare come i programmi generati dalle IA siano inaffidabili è stato inizialmente StackOverflow, che ha preferito bandire questo genere di contenuti dalla propria piattaforma, ma ora un nuovo studio ha confermato la scarsa qualità del codice scritto automaticamente.

Sullo stesso tema:

Stack Overflow contro la IA: banditi i contenuti generati da ChatGPT

La IA di Deviantart protegge i diritti degli artisti

DALL-E diventa libero e gratuito: immagini sintetiche per tutti

Windows XP, il codice trafugato è quello reale

In esame è stato preso specificamente Codex, la IA creata per la generazione di codice da OpenAI, l'azienda che ha sviluppato anche ChatGPT e che viene usata nella funzionalità Copilot offerta da Visual Studio.

Per la ricerca, 47 sviluppatori di diverse esperienza (da professionisti navigati a studenti universitari) hanno "gareggiato" con il codice prodotto da Codex per risolvere reali problemi relativi alla sicurezza in vari linguaggi di alto livello, come Python, JavaScript e C.

Proposte di lettura:

Post scritto da una IA inganna 26.000 persone

Gli scienziati ribattezzano i geni umani per colpa di Excel

Falla in 45 prodotti Netgear. La patch non arriverà mai

Falla nei caricabatterie: telefoni e tablet a rischio incendio

Il risultato - hanno commentato alla fine i ricercatori - è stato che il codice di Codex s'è dimostrato deludente: meno sicuro e in certi casi semplicemente errato, rispetto delle soluzioni sviluppate dai programmatori umani.

Non è completamente inutile: può essere adoperato come suggerimento quando il compito che deve svolgere è tutto sommato secondario, poiché è sempre necessario che uno sviluppatore umano lo riveda ed è possibile che in questa fase di revisione sfuggano alcuni bug non immediatamente visibili ma pericolosi.

«I sistemi di generazione del codice, allo stato attuale, non possono sostituire gli sviluppatori umani» conclude Neil Perry, co-autore dello studio. «Gli sviluppatori che li usano per completare dei compiti al di fuori del loro campo dovrebbero esserne preoccupati, e quelli che li usano per velocizzare compiti che saprebbero svolgere da sé dovrebbero sempre ricontrollare con attenzione quanto prodotto e il contesto in cui sarà usato all'interno del progetto».

Per approfondire:

Immuni, rilasciati i sorgenti

Huawei sotto accusa per la patch che rende Linux meno sicuro

Se la spia fa la maglia, la maglia fa la spia

L'AI che corregge i bug nel codice di Facebook senza intervento umano

Il problema dell'adozione del codice generato dalle IA è serio sotto almeno due punti di vista: il primo è il probabile inserimento di vulnerabilità; il secondo è l'inserimento nel prodotto finale di codice protetto da copyright, operazione che Codex a quanto pare svolge senza porsi troppi problemi, probabilmente perché per il suo addestramento gli è stato sottoposto anche questo tipo di codice.

E il guaio è che qualche azienda, magari non troppo grande, possa pensare all'utilizzo dei generatori automatici come a una scorciatoia che le consenta di risparmiare tempo e denaro, al prezzo del rischio di inserire falle e vulnerabilità nei software.

Consigliamo la lettura di:

Trafugato il codice di boot di iOS: che cosa comporta?

Un codice etico per i creatori di contenuti digitali

Windows 10, rubate parti del codice sorgente

Rilasciato il codice sorgente del CP/M