Cassandra si vergogna un po' di averci messo tanto a capire una cosa che forse a molte persone era perfettamente chiara da tempo. Ma siccome nessuna di queste persone (sempre che esistano) le ha mai fatto omaggio di questa informazione, e Cassandra ha dovuto lentamente arrivarci da sola, oggi vi regalerà proprio questa sintesi, tanto estrema quanto rivelatrice. Non si tratta assolutamente di una novità, ma di una dimostrazione che, essendo magnificamente sintetica, secondo il rasoio di Occam è probabilmente magnificamente vera.

L'impero finanziario dell'IA che è stato creato non è frutto della potenza di un nuovo giocattolo tecnologico come i Large Language Models (LLM). Non è nemmeno il prodotto di un complotto volto al dominio del mondo. È lo sfruttamento estremo, deliberato e opportunista di una nota debolezza della mente umana, operato mediante l'uso di una nuova tecnologia. Questa debolezza viene spesso indicata col nome di effetto Eliza, cioè dell'atavica ed irresistibile tendenza della mente umana a cercare suoi simili nel mondo che la circonda. Nel caso dei chatbot questo causa un'antropomorfizzazione del programma con cui l'essere umano interagisce, che porta inevitabilmente a considerarlo umano.

Si tratta di una reazione incontrollabile che compete su un piede di parità con la conoscenza oggettiva del contrario e che, se non accuratamente contrastata, causa inevitabilmente importanti alterazioni del rapporto uomo-macchina. È purtroppo del tutto naturale che le persone proiettino sé stesse anche su qualunque output in linguaggio naturale proveniente da un computer, e che gli attribuiscano profondità e significati che ovviamente provengono dall'umano, e non dal computer. Riconoscete qualcosa di familiare? Qualcosa di attuale e pervasivo? Riconoscete ChatGPT e gli LLM? E questo tira in ballo Eliza.

Wikipedia la presenta così: «ELIZA è un chatterbot scritto nel 1966 da Joseph Weizenbaum». Sì, sessant'anni fa; e si trattava di poco più di mille righe di un linguaggio simile al Basic. Ma proseguiamo. L'autore di Eliza, Joseph Weizenbaum, scrisse il suo chatbot come un esperimento, ma le reazioni delle persone che l'utilizzarono lo sorpresero a tal punto da provocare una svolta permanente nei suoi interessi e nella sua carriera. Potremmo sintetizzare tutto questo dicendo che Weizenbaum ha passato il resto della sua vita cercando di avvertirci dei pericoli di questo fenomeno. Ha fatto questo come poteva, cioè scrivendo testi fondamentali come Il potere del computer e la ragione umana, tradotto anche in italiano, esaurito da tempo ma in fase di ristampa. Compratevelo e veneratelo! Cassandra l'ha raccontato anche nelle scuole, come vi riassume in questo articolo. E siamo arrivati al nocciolo della questione.

Leggi anche:

I crescenti segni dell'esplosione

Possiamo vivere con computer che sbagliano?

Le IA vendute come oracoli sono solo fuffa: ecco perché

Eliza colpisce ancora

Se si depura la questione dai dettagli storici e filosofici dopo averli studiati con cura, è lampante come nel passaggio da un chatbot scritto in Basic a un LLM pilotato da una potenza computazionale sostanzialmente infinita questo potente effetto psicologico divenga un'arma di tecnocontrollo di massa. E i tech-bro l'hanno capito per primi e hanno applicato quest'arma senza remore e senza pietà (cosa normale nel mondo della finanza) per il loro tornaconto personale. Era così semplice.

Articoli raccomandati:

IA, il pericolo dell'antropomorfizzazione

L'impercettibile pericolosità dei chatbot

L'IA come proprietà emergente?

Intelligenza Artificiale: GPT-4, orgasmi e Pappagalli Stocastici