科學(xué)家開發(fā)出準(zhǔn)確捕捉表情的3D建模新方法

        在3D渲染中準(zhǔn)確地重建一個(gè)人的面部特征，是3D掃描儀所要面對(duì)的最困難的工作之一。雖然各種技術(shù)和軟件已經(jīng)發(fā)展了很多年，但人臉的高度非剛性性質(zhì)，以及人類本身能夠分辨出非常細(xì)微的細(xì)節(jié)和幾何缺陷的能力，使得生成一個(gè)高頻品質(zhì)的渲染效果非常困難。此外，它還是一個(gè)非常耗時(shí)的過(guò)程，并且需要大量的設(shè)備。受測(cè)者將被長(zhǎng)時(shí)間鎖定在一個(gè)工作室里，同時(shí)要設(shè)置幾十個(gè)攝像頭來(lái)收集必要的數(shù)據(jù)。

        但是，在今年9月6日—12日在瑞士蘇黎世舉行的計(jì)算機(jī)視覺歐洲會(huì)議（European Conference on Computer Vision）上，來(lái)自華盛頓大學(xué)的團(tuán)隊(duì)展示了一種3D掃描獲取面部特征的新方式，可以避免這一切，而且使用的設(shè)備非常簡(jiǎn)單，不需要特殊的裝置。

        “前提是，我們能夠獲取一個(gè)人在不同時(shí)間、不同環(huán)境，以不同的表情和姿勢(shì)拍攝的大量照片。事實(shí)上，大多數(shù)人在生活中總是會(huì)拍攝大量的照片和視頻。我們的建議是利用同一個(gè)人的所有可用圖片和視頻作為資料庫(kù)，來(lái)幫助在虛擬世界重建他/她的臉部�！�

        他們的做法被稱為總體移動(dòng)臉部掃描（Total Moving Face Scanning，TMFS），研究團(tuán)隊(duì)成員包括華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程研究生 Supasorn Suwajakorn和他的導(dǎo)師助理教授 Ira Kemelmacher-Shlizerman、教授 Steven Seitz

        這種TMFS方法，可用于在非正常拍攝條件下的3D建模。特別是那些有著大量公開圖像、視頻數(shù)據(jù)的知名人士，諸如查爾斯王子、阿諾德·施瓦辛格、湯姆·漢克斯這類人。這應(yīng)該也算大數(shù)據(jù)的一種使用方式吧。

        從下面的圖片中可以看到，軟件在綜合了各種光照條件、頭部姿勢(shì)、面部表情等數(shù)據(jù)生成了高度詳細(xì)而精確的3D渲染效果。

        這種方法顯然與常用的技術(shù)大不相同�！爱�(dāng)前幾乎所有的3D人臉追蹤和視頻重建方法都是基于一個(gè)假設(shè)，即人臉可以通過(guò)混合形狀的線性組合來(lái)表現(xiàn)�！彪m然這種方法可以科學(xué)家限制參數(shù)和測(cè)量指標(biāo)的數(shù)量，但它會(huì)導(dǎo)致在低等級(jí)的3D模型中，表現(xiàn)力有限，而且無(wú)法捕捉一些重要細(xì)節(jié)。

        使用TMFS方法，目標(biāo)對(duì)象的圖像視頻數(shù)據(jù)越多，那么計(jì)算生成的3D形象就會(huì)越精確傳神。一個(gè)人的臉部形狀可以在每個(gè)時(shí)刻都稍有不同，但是它們的大致形狀（例如眼睛、鼻子的長(zhǎng)度，整體幾何形狀之間的距離等），趨向于隨著時(shí)間的推移保持一致。因此，研究人員可以利用所有可用的圖像（照片和/或視頻幀）來(lái)捕捉特定條件下的平均形狀和外觀，來(lái)重建一個(gè)人的外觀和形狀的3D模型。

        3D渲染本身就是一種復(fù)雜的算法。 至關(guān)重要的是一個(gè)“照片一致性基礎(chǔ)上的標(biāo)準(zhǔn)，比如在同一個(gè)輸入視頻幀中比較網(wǎng)格效果。這種能力的關(guān)鍵取決于每個(gè)輸入幀的渲染網(wǎng)格能否匹配。”

        TMFS方法的渲染過(guò)程包括了兩個(gè)步驟：第一、平均形狀（基于圖像數(shù)據(jù)庫(kù)）發(fā)生變形以匹配3D渲染里同一個(gè)形狀的運(yùn)動(dòng)。第二，所得到的形狀要根據(jù)每一幀中的已知細(xì)部線索進(jìn)行修改。這意味著，非剛性的面部特征（如皺紋）也將首次捕獲并添加到參考幀里，在這之后一些特定的細(xì)部也將要考慮在內(nèi)。 所有這一切，很明顯需要一些嚴(yán)肅的計(jì)算。

        但是結(jié)果是不會(huì)說(shuō)謊的。天 工社發(fā)現(xiàn)，TMFS算法能夠成功地清晰捕獲類似皺紋這樣非常微小的細(xì)節(jié)和在很小尺度上的微妙表情變化，這是現(xiàn)有軟件無(wú)法比擬的。 正如科學(xué)家們說(shuō)：

        “通過(guò)注意在每幀中面部表情的變化（相對(duì)于平均形狀），例如，嘴張開、眼睛閉合和打開、皺紋出現(xiàn)和消失、眼睛區(qū)域的細(xì)節(jié)等，諸如此類。該方法即使在對(duì)象動(dòng)作幅度非常大的條件下也很可靠，即使是簡(jiǎn)單的輪廓也能提供高品質(zhì)的結(jié)果。”

        TMFS技術(shù)的應(yīng)用前景十分廣闊，它可以用來(lái)開發(fā)基于視頻和照片的3D建模軟件，讓對(duì)人像的3D掃描和建模變得更加簡(jiǎn)單、方便、精確。同時(shí)也否定了使用昂貴的設(shè)備來(lái)獲得高質(zhì)量結(jié)果的必要性。

        下面是介紹TMFS技術(shù)的視頻：