Kandao的新軟件使用AI技術來預測運動,以便在后期創(chuàng)建高達1200fps的慢動作。
該技術主要針對公司的Obsidian和QooCam 360/VR攝像機而設計,采用較低幀速率(如30或60fps)拍攝的素材,并使用AI預測技術插入幀以創(chuàng)建超慢動作序列。
并不是所有的相機都能產生或記錄高幀率,這是一個越來越需要的功能。常言道:“慢鏡頭下的一切看起來都更好。”好吧,我承認,慢動作被過度使用了,但對于你想要詳細描述動作的純粹美感或復雜性的高動作序列來說,沒有什么能代替慢下來。
Kandao的演示是一個好的開始。任何使用先前的慢速運動插值技術(如光流)的人都知道,沒有什么是絕對可靠的。這些替代技術通常會在對象周圍產生扭曲偽影,因為計算機不知道下一個對象。這些方法通常會被軟邊緣和運動模糊所迷惑,因此通常最好拍攝原始序列并定制它以使其稍后變?yōu)槁齽幼?,例如確保具有良好的高對比度邊緣和細節(jié),以及使用快速快門速度,以便計算機能夠更準確地預測運動。
看來Kandao的方法比現(xiàn)有的許多方法都好,盡管在某些地方仍然存在翹曲的問題,而且當一個對象移動到另一個對象之后,系統(tǒng)也會變得混亂。這也是光流方法的一個常見問題。不過,它確實表明,這種技術正在變得更好,在人工智能“學習”的幫助下,這種系統(tǒng)只會在識別和預測物體運動方面變得更好。
深度映射的案例
如果有一個很好的例子可以讓每個相機都具備深度映射能力,這將是一個很好的例子,允許后運動計算真正地分離對象,并做出更好的運動預測。
去年,Nvidia展示了自己的基于人工智能的計算慢動作系統(tǒng)。粗略地看一眼就可以看出,Nvidia的方法稍微好一些,手動操作也稍微少一些。盡管我們必須使用相同的錄像來比較兩個系統(tǒng),以做出正確的判斷。但需要考慮的一點是,Nvidia系統(tǒng)需要特斯拉V100 GPU和Cudnn加速的Pythorn深度學習框架,甚至Nvidia也承認,如果其系統(tǒng)商業(yè)化,處理過程很可能會在云端進行。另一方面,Kandao的系統(tǒng)只是軟件。
但英偉達展示的重點是,這種計算方法首先并不僅僅適用于創(chuàng)建慢動作。記住,你給電腦輸入的信息越多,它就能做的越多。運動也一樣。
因此,如果你輸入這樣的軟件,比如120fps的鏡頭,你就可以繼續(xù)創(chuàng)建慢得多、慢得多的運動鏡頭,任何人工制品都將被最小化,因為系統(tǒng)有大量的微小的時間信息來計算物體的運動。這一點在英偉達的演示中得到了很好的體現(xiàn),當液體被擊穿網(wǎng)球拍時。任何基于液體的東西對任何計算慢動作系統(tǒng)都是一個巨大的挑戰(zhàn),但是英偉達系統(tǒng)處理得非常好。
正如我們所說,Kandao的系統(tǒng)是為其自己的VR和360相機系列設計的,但我們可以期待看到更多此類技術的出現(xiàn)。我們是否會得到如此完美的計算結果,以至于不再需要具有慢鏡頭功能的攝像機?這些方法的處理率非常高,所以現(xiàn)在最好的建議就是正確設置這些方法。但在未來,我們迫不及待地想看到。
https://www.redsharknews.com/production/item/6319-new-ai-techniques-create-ultra-slow-motion-in-post
來源:redsharknews