Foto di Jason Rosewell.

YouTube ha annunciato un significativo aggiornamento della sua funzionalità di traduzione automatica con auto-doppiaggio, funzione quest'ultima non troppo apprezzata: tramite la IA, i video doppiati automaticamente saranno anche sincronizzati con il labiale dei soggetti, con l'intento di rendere i video stessi più realistici e naturali. Sviluppata internamente da Google, questa nuova caratteristica utilizza modelli di intelligenza artificiale basati su reti neurali generative, simili a quelle impiegate in tool come Veo 3 Fast per la creazione di video, per analizzare i frame video e generare animazioni labiali che si allineano con il flusso fonetico della traduzione.

Racconta il blog ufficiale di YouTube: «Stiamo rendendo il doppiaggio automatico più realistico che mai. Grazie alla tecnologia di sincronizzazione labiale di prossima introduzione, i video tradotti saranno ora visivamente sincronizzati con il movimento delle labbra di chi parla nella nuova lingua doppiata, rendendo i tuoi contenuti più accessibili e coinvolgenti per il pubblico globale». Questo approccio non altera l'audio originale se non richiesto, ma applica la sincronizzazione solo ai video contrassegnati come auto-dubbed nella descrizione, permettendo agli spettatori di passare facilmente alla traccia originale tramite le impostazioni del video.

Il processo di sincronizzazione si basa su algoritmi di apprendimento profondo che mappano i cosiddetti landmark facciali (punti chiave come labbra, mascella e guance) del parlante originale e li adattano al nuovo audio generato da LLM come Gemini di Google. La traduzione iniziale avviene tramite AI per replicare il tono e l'intonazione della voce originale, evitando gli effetti robotici comuni nelle versioni precedenti. Per implementare la sincronizzazione il sistema divide il video in segmenti fonetici, calcola il tempo di ciascuna sillaba e genera frame interpolati per allineare i movimenti labiali, con una precisione stimata superiore al 90% in test interni, riducendo artefatti visivi come sfasamenti o espressioni innaturali.

La funzione è integrata nel YouTube Studio, dove i creatori di contenuti possono abilitarla manualmente per i loro video; supporta inizialmente 20 lingue, tra cui inglese, tedesco, francese, spagnolo, italiano, portoghese, giapponese, indonesiano e hindi, con piani per espansioni future basate sui feedback ricevuti. La distribuzione comincerà con test limitati nei prossimi mesi, inizialmente per canali presenti nello YouTube Partner Program focalizzati su contenuti educativi e informativi, prima di estendersi a tipi di video più vari come intrattenimento e Shorts. La sincronizzazione non sarà automaticamente attiva per default ma richiederà l'abilitazione esplicita; una volta attivata, i video saranno processati nel cloud con tempi di elaborazione variabili da minuti a ore a seconda della lunghezza. Gli spettatori visualizzeranno l'opzione di selezione della lingua nelle impostazioni del player e i video doppiati saranno marcati chiaramente per trasparenza.

Consigliamo la lettura di:

Gli auricolari Bluetooth in legno con IA integrata e traduzione automatica in 15...

YouTube "migliora" gli Shorts con la IA senza avvisare: gli autori insorgono e c...

Le IA vendute come oracoli sono solo fuffa: ecco perché

Google lancia la IA per comunicare con i delfini

Come già lamentato in questi mesi, ancora non c'è la possibilità di disattivare completamente il doppiaggio automatico, magari su specifici canali o lingue: per questo motivo sono nate estensioni per browser come YouTube Anti-Translate che permettono di forzare l'audio originale.

I requisiti tecnici per poter usare la sincronizzazione labiale includono video con parlanti visibili (non cartoon o animali); la qualità dell'output dipenderà dalla risoluzione originale, con supporto per formati fino a 4K. Da un punto di vista "etico", la sincronizzazione costituisce un'ulteriore prova di come YouTube possa modificare i video; diversamente dal caso degli Short migliorati in sordina, questa volta chi carica i video ha il pieno controllo sull'utilizzo della IA.

Le limitazioni prevedibili di questo sistema includono un'accuratezza non perfetta per dialetti o accenti pesanti: la IA potrebbe generare traduzioni errate o movimenti labiali irrealistici: la distribuzione della funzionalità nei prossimi mesi mostrerà la bontà di questa tecnologia.

Per approfondire:

Prime Video, adesso il doppiaggio lo fa la IA

VLC presto tradurrà i sottotitoli in tempo reale

Edge traduce e doppia i video in tempo reale

La valle inquietante

Non perderti anche:

IA, YouTube lancia il doppiatore virtuale

Una IA pensiona la voce di Darth Vader

Se anche Sky usa i sottotitoli pirata

Popcorn Time, arrivano i film in italiano