Foto di Taylor Flowe.

Una scuola media del Kentucky ha ordinato agli studenti di strappare 17 pagine dalle loro agende scolastiche dopo che le famiglie hanno scoperto che il materiale conteneva errori gravi generati da sistemi di intelligenza artificiale, con mappe, tabelle e diagrammi completamente distorti. L'episodio ha coinvolto la Farnsley Middle School di Louisville e ha portato a un intervento immediato da parte dell'amministrazione, che ha riconosciuto la presenza di contenuti errati già prima della distribuzione dei libretti.

Tanto per cominciare, le agende contenevano una mappa degli Stati Uniti con numerosi nomi di stati alterati o inventati. Il Kentucky era indicato come "Venecky", il Texas come "Taxas", la Louisiana come "Lookoong", mentre l'Illinois compariva come "Vitoiis". Alcune aree erano trasformate in territori inesistenti, come "Beehie", e altre regioni non riportavano alcuna etichetta. Le fonti confermano che anche la posizione di città e confini risultava completamente errata, con casi come L'Avana collocata nella penisola dello Yucatán. Le distorsioni non riguardavano solo la geografia. Una tavola periodica mostrava valori impossibili, tra cui il magnesio con una massa atomica di -3.08, mentre un diagramma del sistema solare riportava il pianeta Marte come "Marc". Altri contenuti scientifici erano accompagnati da frasi prive di senso, come «Planetary distance are temporatory earth, equater the elenonts and regnestiom org toed dishligns».

Pare che l'amministrazione scolastica fosse a conoscenza degli errori prima che le agende arrivassero alle famiglie, alle quali erano stati chiesti 10 dollari per entrare in possesso dei discutibili diari. Per rimediare agli errori senza buttare tutte le agende, i docenti sarebbero stati istruiti a far strappare le pagine difettose - ossia quelle comprese tra la 19 e la 36 - ma sembra che si siano mossi in ritardo: quando hanno dato l'ordine, molti studenti avevano già portato i libretti a casa.

Non è difficile immaginare la causa degli errori: questi sono perfettamente coerenti con un noto comportamento dei modelli generativi: la produzione di contenuti strutturati che appaiono plausibili nella forma ma completamente errati nella sostanza, altrimenti noti come "allucinazioni"; si sa che mappe, tabelle e diagrammi sono particolarmente vulnerabili alle allucinazioni dei modelli quando non vengono applicati vincoli rigorosi o controlli umani, ma evidentemente le autorità scolastiche non hanno esercitato controlli troppo rigorosi. Il sistema di intelligenza artificiale utilizzato per generare il materiale non è stato chiarito; test indipendenti mostrano che ormai diversi chatbot moderni producono mappe corrette, mentre altri, come alcune versioni di Gemini, possono tuttora generare errori simili. Non è stato possibile determinare se la scuola abbia utilizzato uno strumento commerciale, un generatore vecchio o un software specifico fornito da terzi.

Proposte di lettura:

Le promesse dei tech-bro in un bagno di realtà

AI Overviews, allarme salute: Google rimuove le risposte errate dell'intelli...

ChatGPT: tutti lo usano per motivi personali. L'uso professionale è una...

Possiamo vivere con computer che sbagliano?

Leggi anche:

Chiede a ChatGPT come sostituire il sale, finisce in ospedale con una malattia d...

ChatGPT-4o genera immagini realistiche

ChatGPT ''impazzisce'' e accusa di omicidio un innocente

IA, oltre metà dei contenuti è inaccurata o del tutto errata