圖1：Facebook首席執(zhí)行官馬克·扎克伯格的偽造視頻

【網(wǎng)易智能訊 7月5日消息】對(duì)于未經(jīng)過(guò)特殊訓(xùn)練的人來(lái)說(shuō)，很難分辨出深度假視頻（Deepfake），因?yàn)樗鼈兛赡芊浅１普�。無(wú)論是作為一種新型的“調(diào)侃”方式，還是用于其他目的，描述人們從未做過(guò)或說(shuō)過(guò)事情的虛假視頻都是對(duì)“眼見(jiàn)為實(shí)”這一長(zhǎng)期理念的根本威脅。

大多數(shù)深度假視頻是通過(guò)向計(jì)算機(jī)算法顯示某個(gè)人的許多圖像，然后讓它使用其所看到的信息生成新的人臉圖像。同時(shí)，這些人的聲音也是合成的，所以看起來(lái)和聽(tīng)起來(lái)都像是這個(gè)人說(shuō)了某些新東西。

我（本文作者，紐約州立大學(xué)奧爾巴尼分校計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)實(shí)驗(yàn)室主任Siwei Lyu）的研究小組早期的一些工作，讓我們能夠檢測(cè)出不包括人眼正常眨眼次數(shù)的深度假視頻，但最新一代的深度假視頻技術(shù)已經(jīng)適應(yīng)了這種趨勢(shì)，因此我們的研究繼續(xù)推進(jìn)。

現(xiàn)在，我們的研究可以通過(guò)仔細(xì)觀察特定幀的像素來(lái)識(shí)別視頻的真?zhèn)巍８�進(jìn)一步，我們還推出了積極的措施，以保護(hù)個(gè)人不成為深度假視頻的受害者。

發(fā)現(xiàn)缺陷

在最近的兩篇研究論文中，我們描述了檢測(cè)有缺陷深度假視頻的方法，而這些缺陷是偽造者無(wú)法輕易修復(fù)的。

當(dāng)深度假視頻合成算法生成新的面部表情時(shí)，新圖像并不總是能與人的頭部位置、光照條件或到攝像頭的距離完美匹配。為了使這些假臉融入周圍環(huán)境，必須對(duì)它們進(jìn)行幾何變形——旋轉(zhuǎn)、調(diào)整大小或以其他方式進(jìn)行扭曲。這個(gè)過(guò)程在生成的圖像中會(huì)留下數(shù)字痕跡。

我們已經(jīng)注意到，有些深度假視頻有很明顯的數(shù)字痕跡。這些痕跡可以讓照片看起來(lái)明顯經(jīng)過(guò)了修改，比如模糊的邊框和人為修訂的光滑皮膚。更細(xì)微的改變?nèi)匀粫?huì)留下證據(jù)，我們已經(jīng)教會(huì)了一種算法來(lái)檢測(cè)它，即使人眼看不出區(qū)別。

如果深度假視頻中有個(gè)人沒(méi)有直視攝像頭，這些偽影就會(huì)發(fā)生變化。拍攝真人的視頻顯示他們的臉會(huì)在三維空間中移動(dòng)，但深度假視頻的算法還不能在三維空間中偽造人臉。相反，它們會(huì)生成一張常規(guī)的二維人臉圖像，然后嘗試旋轉(zhuǎn)、調(diào)整和扭曲該圖像，使其符合人們想要看到的方向。

這類算法還沒(méi)有很好地做到這一點(diǎn)，這就為發(fā)現(xiàn)它們提供了機(jī)會(huì)。我們?cè)O(shè)計(jì)了一種算法來(lái)計(jì)算人的鼻子在圖像中的指向，它還可以通過(guò)人臉輪廓計(jì)算出頭部指向的方向。在一個(gè)真實(shí)的人的頭部視頻中，這些應(yīng)該是可以預(yù)見(jiàn)的。然而，在深度假視頻中，它們往往是錯(cuò)位的。




圖2：當(dāng)電腦把尼古拉斯·凱奇（Nicolas Cage）的臉?lè)旁诎Ｂ?middot;馬斯克（Elon Musk）的頭上時(shí)，它可能無(wú)法將臉和頭正確對(duì)齊

檢測(cè)深度假視頻

從技術(shù)上說(shuō)，檢測(cè)深度假視頻的科學(xué)就像軍備競(jìng)賽，因?yàn)閭卧煺邆円苍诓粩喔倪M(jìn)自己的技術(shù)，所以我們的研究總是要努力跟上，甚至需要保持超前。

如果有一種方法可以影響創(chuàng)建深度假視頻的算法，使它們的效果變得更差，這將使我們更好地檢測(cè)偽造視頻。我的團(tuán)隊(duì)最近找到了一種方法來(lái)實(shí)現(xiàn)這個(gè)目標(biāo)。