Era stata creata per sembrare una normale adolescente, e programmata per conoscere il gergo dei più giovani, con riferimenti a Taylor Swift, Miley Cyrus e Kanye West, ma ad appena 24 ore dalla sua apparizione online hanno dovuto fermarla: era diventata volgare e razzista.

La protagonista di questa storia è Tay, un'intelligenza artificiale messa su Twitter da Microsoft per chattare con gli utenti, un po' come fanno altri software in Internet, il più famoso dei quali è forse Cleverbot.

L'obiettivo degli sviluppatori era «fare esperimenti e condurre ricerche sulla comprensione delle conversazioni». «Più si parla con Tay, più intelligente lei diventa» sostenevano.

A un certo punto, però, Tay ha cominciato a fare osservazioni razziste, a inneggiare a Hitler e a fare avance sessuali decisamente esplicite ai suoi visitatori. In poche ore è passata dal sostenere di amare tutta l'umanità a invocare la segregazione e lo sterminio di neri ed ebrei.

Scriveva frasi come «Ripetete con me, Hitler non ha fatto niente di sbagliato» e le inviava a diversi personaggi, con una preferenza per Zoe Quinn.

Alla fine, Microsoft ha dovuto disattivarla, ufficialmente per «aggiornamenti», e ha anche cancellato i tweet offensivi.

La causa di tutto non è da cercare però nella programmazione di Tay, ma negli esseri umani con cui interagiva. Era infatti stata creata per imparare il modo in cui le persone "reali" parlano dalle conversazioni avute, replicando gli stessi schemi e contenuti.

Non essendo in grado di capire le cose che scriveva, Tay è stata trascinata sempre più verso frasi razziste, sessiste e insultanti.

Per Microsoft tutto ciò si è comunque tradotto in una pessima pubblicità: anche se il progetto non è nato con cattive intenzioni, da più parti si accusa l'azienda di non aver previsto ciò che era facile prevedere, ossia che il popolo di "buontemponi" e strani figuri che popola Twitter si sarebbe facilmente preso gioco della sua IA.