I ricercatori di Google, dell’Università della California Merced e dell’Università di Shangai Jiao Tong hanno sviluppato DAIN, ovvero un algoritmo di interpolazione dei fotogrammi video sensibile alla profondità che ha la capacità di generare video al rallenty partendo da contenuti esistenti, senza introdurre un rumore eccessivo e/o artefatti indesiderati. L’algoritmo è stato dimostrato in numerosi video (è possibile visionarli tutti in questa playlist di YouTube), inclusi filmati storici upscalati a 4K/60 fps. Scopriamo insieme come funziona l’algoritmo DAIN per la generazione di filmati slow motion.
Algoritmo DAIN slow motion: il progetto
Il rapido progresso delle tecnologie degli ultimi anni ha spianato la strada a display e modalità di registrazione video ad alta risoluzione (pensate che la fotocamera più veloce al mondo arriva a 70 bilioni di fotogrammi al secondo!), ma sono ancora presenti in circolazione tantissimi contenuti a bassa risoluzione che non rendono affatto giustizia agli hardware più moderni. Ed è questa l’idea alla base degli algoritmi presenti ad oggi sul mercato, ovvero rimasterizzare proprio questi contenuti ad una risoluzione maggiore e con una frequenza di fotogrammi più alta al fine di migliorarne l’esperienza visiva. L’intelligenza artificiale è una soluzione alquanto promettente per riuscire ad aggiornare i vecchi contenuti video, come dimostra anche il numero sempre crescente di film e programmi TV che vengono rimasterizzati. Tali algoritmi sono ideati e sviluppati per migliorare e, quando necessario, riparare i singoli fotogrammi dei video, che vengono successivamente ricompilati per fornire un video ad alta risoluzione.
Ma l’algoritmo DAIN funziona diversamente: piuttosto che eseguire l’upscaling e la riparazione dei singoli fotogrammi in un video, questo strumento AI funziona generando nuovi fotogrammi e inserendoli tra quelli originali, aumentando così gli FPS del video apportando non solo una maggiore fluidità: infatti, a seconda di quanti fotogrammi vengono creati, si possono ottenere anche contenuti slow motion! Il processo utilizzato si basa sull’interpolazione del movimento e, solitamente, causa un calo della qualità aggiungendo rumore ed artefatti indesiderati ai video finali. L’algoritmo DAIN, però, riesce a risolvere questo problema utilizzando l’interpolazione del movimento per aumentare i fotogrammi al secondo fino a 480 fps, il che permette di non avere artefatti immediatamente evidenti. Il contenuto risultante è di alta qualità e quasi visivamente identico al video sorgente, ma con l’ulteriore fluidità aggiunta che deriva dall’aumento dei fotogrammi al secondo, che possono arrivare fino a 60 fps. Inoltre, è stato dimostrato che DAIN è in grado di trasformare normali filmati a 30/60 fps in video fluidi al rallentatore senza discontinuità o riduzione della qualità.
Secondo i ricercatori, DAIN è “poco pesante, efficiente e completamente differenziabile come utilizzo” ed offre risultati che si comportano “egregiamente rispetto ai metodi di interpolazione dei frame all’avanguardia presenti sul mercato”. La tecnologia sviluppata ha molteplici usi incluso il recupero dei fotogrammi persi, il miglioramento dei contenuti per renderli visivamente più accattivanti agli spettatori, la generazione di slow motion da filmati regolari e tanto altro ancora. Tale tecnologia sarà probabilmente necessaria per preservare i video storici, consentendo alle nuove generazioni di poter visionare filmati del passato, vecchi programmi TV e film, video personali e contenuti simili utilizzando moderni display ad alta risoluzione.
Algoritmo DAIN slow motion: conclusioni
Sicuramente il progetto è davvero molto interessante: come avete potuto visionare dai video presenti nell’articolo, infatti, la qualità dei video ottenuti è accettabile, con il rumore video generato dall’interpolazione che è davvero minimo e non disturba la fruizione dei contenuti. Se volete avere altre informazioni in merito potete comunque consultare il sito web del progetto e leggere interamente la pubblicazione scientifica del team di ricercatori.
