圖1：Facebook首席執(zhí)行官馬克·扎克伯格的偽造視頻

【網(wǎng)易智能訊 7月5日消息】對于未經(jīng)過特殊訓(xùn)練的人來說，很難分辨出深度假視頻（Deepfake），因為它們可能非常逼真。無論是作為一種新型的“調(diào)侃”方式，還是用于其他目的，描述人們從未做過或說過事情的虛假視頻都是對“眼見為實”這一長期理念的根本威脅。

大多數(shù)深度假視頻是通過向計算機算法顯示某個人的許多圖像，然后讓它使用其所看到的信息生成新的人臉圖像。同時，這些人的聲音也是合成的，所以看起來和聽起來都像是這個人說了某些新東西。

我（本文作者，紐約州立大學(xué)奧爾巴尼分校計算機視覺和機器學(xué)習(xí)實驗室主任Siwei Lyu）的研究小組早期的一些工作，讓我們能夠檢測出不包括人眼正常眨眼次數(shù)的深度假視頻，但最新一代的深度假視頻技術(shù)已經(jīng)適應(yīng)了這種趨勢，因此我們的研究繼續(xù)推進。

現(xiàn)在，我們的研究可以通過仔細觀察特定幀的像素來識別視頻的真?zhèn)�。更進一步，我們還推出了積極的措施，以保護個人不成為深度假視頻的受害者。

發(fā)現(xiàn)缺陷

在最近的兩篇研究論文中，我們描述了檢測有缺陷深度假視頻的方法，而這些缺陷是偽造者無法輕易修復(fù)的。

當(dāng)深度假視頻合成算法生成新的面部表情時，新圖像并不總是能與人的頭部位置、光照條件或到攝像頭的距離完美匹配。為了使這些假臉融入周圍環(huán)境，必須對它們進行幾何變形——旋轉(zhuǎn)、調(diào)整大小或以其他方式進行扭曲。這個過程在生成的圖像中會留下數(shù)字痕跡。

我們已經(jīng)注意到，有些深度假視頻有很明顯的數(shù)字痕跡。這些痕跡可以讓照片看起來明顯經(jīng)過了修改，比如模糊的邊框和人為修訂的光滑皮膚。更細微的改變?nèi)匀粫�留下證據(jù)，我們已經(jīng)教會了一種算法來檢測它，即使人眼看不出區(qū)別。

如果深度假視頻中有個人沒有直視攝像頭，這些偽影就會發(fā)生變化。拍攝真人的視頻顯示他們的臉會在三維空間中移動，但深度假視頻的算法還不能在三維空間中偽造人臉。相反，它們會生成一張常規(guī)的二維人臉圖像，然后嘗試旋轉(zhuǎn)、調(diào)整和扭曲該圖像，使其符合人們想要看到的方向。

這類算法還沒有很好地做到這一點，這就為發(fā)現(xiàn)它們提供了機會。我們設(shè)計了一種算法來計算人的鼻子在圖像中的指向，它還可以通過人臉輪廓計算出頭部指向的方向。在一個真實的人的頭部視頻中，這些應(yīng)該是可以預(yù)見的。然而，在深度假視頻中，它們往往是錯位的。




圖2：當(dāng)電腦把尼古拉斯·凱奇（Nicolas Cage）的臉放在埃隆·馬斯克（Elon Musk）的頭上時，它可能無法將臉和頭正確對齊

檢測深度假視頻

從技術(shù)上說，檢測深度假視頻的科學(xué)就像軍備競賽，因為偽造者們也在不斷改進自己的技術(shù)，所以我們的研究總是要努力跟上，甚至需要保持超前。

如果有一種方法可以影響創(chuàng)建深度假視頻的算法，使它們的效果變得更差，這將使我們更好地檢測偽造視頻。我的團隊最近找到了一種方法來實現(xiàn)這個目標。