Nvidia ha deciso di rendere disponibile a tutti Audio2Face, la sua tecnologia di animazione facciale basata sull’AI che trasforma l’audio in movimenti realistici di un volto 3D. Lo strumento, già usato da alcuni sviluppatori di videogiochi, ora diventa open source insieme ai kit di sviluppo e al framework di addestramento, aprendo la strada a un utilizzo molto più ampio.
Audio2Face funziona analizzando le caratteristiche acustiche della voce per generare dati di animazione che vengono poi mappati sul volto virtuale: espressioni facciali, labiale e movimenti sincronizzati con ciò che viene detto. Questo consente di creare avatar digitali capaci di parlare in modo naturale, riducendo drasticamente tempi e costi di produzione per contenuti multimediali e videogame.
Nvidia ha spiegato che la tecnologia può essere usata sia per contenuti pre-registrati sia per sessioni dal vivo, ad esempio per streaming interattivi con avatar digitali. Alcuni studi hanno già sperimentato l’integrazione di Audio2Face, come i creatori di Chernobylite 2: Exclusion Zone e gli sviluppatori di Alien: Rogue Incursion Evolved Edition.
Il passo verso l’open source non riguarda solo i modelli pre-addestrati, ma anche l’intera struttura che permette di riaddestrare il sistema su voci, lingue o stili diversi. Questo significa che sviluppatori e artisti potranno personalizzare gli avatar in base al proprio progetto, senza dover partire da zero. L’apertura della piattaforma, secondo Nvidia, mira a favorire l’adozione su larga scala e stimolare innovazioni in settori che spaziano dal gaming alla formazione, fino al cinema e al metaverso.