IA: il collasso, reloaded

Cassandra Crossing/ Perché un dettaglio tecnico delle false IA, per giunta di tipo matematico, dovrebbe essere conosciuto da tutti?



[ZEUS News - www.zeusnews.it - 07-03-2024]

collasso ia cassandra
Immagine generata con DiffusionArt.

Questo è un articolo su più pagine: ti invitiamo a leggere la pagina iniziale
Il collasso delle IA

Chi dei 24 indefettibili lettori si fosse già cimentato nella lettura della precedente esternazione di Cassandra sullo stesso tema, può tranquillamente proseguire; tutti gli altri dovrebbero proprio leggerla, come se fosse il primo tempo di un film giallo a cui siete arrivati in ritardo. Inizia il secondo tempo, il cui sceneggiatore non è Cassandra, ma una meritoria persona che ha postato su Reddit un riassunto ben fatto di una abbastanza astrusa questione, descritta in una paper specialistica.

Disclosure: Cassandra l'ha rielaborato, tradotto (con un LLM) e poi nuovamente rielaborato, e qui lo inserisce. Un grazie d'obbligo al vero autore, quindi, e procediamo. Warning: un minimo di matematica è necessaria, ma se avete mai fatto un esamino o una tesina di statistica base, la cosa sarà per voi chiarissima, anzi abbagliante nella sua semplicità.

Il collasso di un modello di LLM avviene quando un modello, addestrato sui dati generati da generazioni precedenti di modelli, inizia a perdere informazioni, particolarmente sulle code della distribuzione statistica dei dati originali, e alla fine converge verso una stima a punto singolo, con poca varianza statistica (in soldoni, fornisce sempre la stessa risposta a qualsiasi domanda).

Il collasso del modello si verifica a causa di due fonti di errore: errore di approssimazione statistica dovuto al campionamento finito, ed errore di approssimazione funzionale dovuto a modelli imperfetti. Questi errori si accumulano nel corso delle generazioni, facendo sì che la distribuzione stimata si allontani ulteriormente dall'originale.

Alcuni studi mostrano che il collasso del modello si verifica in modelli semplici come i Gaussian Mixture Models e i Variational Autoencoders, nonché in Modelli Linguistici più complessi. Anche una taratura del modello durante l'addestramento non impedisce il collasso del modello nei modelli linguistici.

Nel corso del tempo, i dati generati dai modelli affetti da collasso del modello iniziano a contenere sequenze improbabili, e perdono informazioni sulle code statistiche della distribuzione originale.

I ricercatori sostengono che, per evitare il collasso del modello e poter mantenere le sue prestazioni, l'accesso a dati generati direttamente dagli esseri umani, da usare per il training, rimarrà essenziale. Inoltre, i dati prodotti durante le interazioni umane con i modelli linguistici saranno sempre più preziosi. In sintesi, si evidenzia un fenomeno importante in cui i modelli addestrati ricorsivamente sui propri dati generati iniziano a perdere fedeltà e alla fine convergono verso uno stato non ottimale.

L'accesso a dati originali generati dall'uomo è quindi necessario per evitare il collasso del modello e sostenerne le prestazioni nel lungo periodo. Per questo motivo, man mano che i modelli linguistici inizieranno a generare una crescente quantità dei contenuti del web, distinguere su larga scala i dati umani da quelli generati dai modelli diventerà una sfida importante per riuscire ad allenare correttamente i modelli linguistici.

Cassandra, facendo stavolta davvero il proprio mestiere, termina con un avvertimento. Sì, parliamo proprio delle false intelligenze artificiali che trovate già adesso nelle ultime versioni dei prodotti che usate. Persino nei generatori di codici informatici, tipo Copilot, che la maggior parte degli sviluppatori ormai usano; e quindi i cui effetti trovate nel software che usate e subite tutti i giorni, e che controllerà la prossima versione degli oggetti intelligenti. Stateve accuorti!

Se questo articolo ti è piaciuto e vuoi rimanere sempre informato con Zeus News ti consigliamo di iscriverti alla Newsletter gratuita. Inoltre puoi consigliare l'articolo utilizzando uno dei pulsanti qui sotto, inserire un commento (anche anonimo) o segnalare un refuso.
© RIPRODUZIONE RISERVATA

Approfondimenti
I social ai tempi di GPT-3
Il codice generato dalle IA è insicuro e fallace
Cuccioli puffosi, aspirapolvere occhiuti e telecamere volanti
Ritrova il tuo iPhone? Ma anche no
L'inventario della vostra IoT
Lo smartphone è davvero spento oppure è un nemico in tasca?
Zero Trust, l'approccio per proteggere l'Internet of Things

Commenti all'articolo (4)

{Mastermind}
Mancano ancora due importanti parametri alla IA per gestire la miriade di informazioni fornite dall'essere umano (e in aggiunta dalle IA concorrenti), l'etica e la verita'! Come dice Vasco: "...La verità, la verità è che ce n'è sempre una migliore La verità può essere un... Leggi tutto
11-3-2024 09:23

Io l'ho sempre detto che in sistema che dipende dai dati estrapolati dalle fonti umane, la presenza di dati falsi e corrotti non fa altro che accelerare il decadimento dell'affidabilità dei dati stessi che vengono elaborati e del loro risultato. In pratica, come ho detto innumerevoli, se uno su Facebook scrive false informazioni come il... Leggi tutto
8-3-2024 18:32

{llmpnrr}
In effetti l'errore di approssimazione statistica dovuto al campionamento finito sembra davvero piccolo, ma in realtà non è così. O meglio, in parte lo è per i dati più comuni, mentre questo errore diventa sempre più rilevante mano mano che i dati diventano sempre meno comuni. Per... Leggi tutto
8-3-2024 16:09

{mastermind}
mi chiedo: Se l'accesso a dati originali generati dall'uomo cambia seguendo la regressione stessa dell'uomo, i dati generati inizieranno a perdere fedeltà perche' seguono la nostra decadenza? o manterranno una fedelta' ai dati originali determinando un allontanamento dalla realta'?
7-3-2024 16:36

La liberta' di parola e' un diritto inviolabile, ma nei forum di Zeus News vige un regolamento che impone delle restrizioni e che l'utente e' tenuto a rispettare. I moderatori si riservano il diritto di cancellare o modificare i commenti inseriti dagli utenti, senza dover fornire giustificazione alcuna. Gli utenti non registrati al forum inoltre sono sottoposti a moderazione preventiva. La responsabilita' dei commenti ricade esclusivamente sui rispettivi autori. I principali consigli: rimani sempre in argomento; evita commenti offensivi, volgari, violenti o che inneggiano all'illegalita'; non inserire dati personali, link inutili o spam in generale.
E' VIETATA la riproduzione dei testi e delle immagini senza l'espressa autorizzazione scritta di Zeus News. Tutti i marchi e i marchi registrati citati sono di proprietà delle rispettive società. Informativa sulla privacy. I tuoi suggerimenti sono di vitale importanza per Zeus News. Contatta la redazione e contribuisci anche tu a migliorare il sito: pubblicheremo sui forum le lettere piu' interessanti.
Sondaggio
Cosa pensi della domotica?
Se ne parla da almeno dieci anni ma di applicazioni pratiche ne ho viste ben poche.
I prodotti disponibili sono troppo costosi, non hanno mercato.
E' il futuro ma qualcosa si vede già oggi.
Si possono ottenere dei discreti risultati senza svenarsi: basta la propensione al "fai da te" e un po' di hacking.
Prima che io finisca di rispondere a questo sondaggio... il frigorifero avrà fatto la spesa on line da solo e il forno avrà deciso la mia cena sulla base dei miei gusti e degli ingredienti che ho in casa, mentre sullo smartphone mi sarà apparsa l'immagine di un venditore di aspirapolveri che ha appena suonato al citofono. Ma ovviamente a pulire i pavimenti ci pensa il robottino.

Mostra i risultati (1709 voti)
Giugno 2025
Il DNS europeo che promette di tutelare i dati personali
Guarda film pirata? Rischi fino a 5.000 euro di multa
Il Q-day è vicino
OneDrive: app e siti possono accedere a tutto il cloud
Windows 11, ennesimo aggiornamento che blocca l'avvio del PC
Maggio 2025
Il cripto-ladro è nella stampante e ruba un milione di dollari
Amazon, la IA ha trasformato la programmazione in una catena di montaggio
Lidar nelle auto: utile per la guida, letale per le fotocamere
Azienda IA in tribunale per il suicidio di un adolescente
Non è proprio legale... ma le sanzioni sono irrisorie
Pirateria, multati in Italia anche gli utenti finali
Bancomat da attivare e complessità digitale
Un ''diritto a riparare'' piccolo, virtuoso e originale
Siti per adulti, la verifica dell'età non avverrà tramite SPID
Gli hard disk in ceramica praticamente indistruttibili di Western Digital
Tutti gli Arretrati
Accadde oggi - 10 giugno


web metrics