科學家開發(fā)出準確捕捉表情的3D建模新方法

        在3D渲染中準確地重建一個人的面部特征，是3D掃描儀所要面對的最困難的工作之一。雖然各種技術和軟件已經發(fā)展了很多年，但人臉的高度非剛性性質，以及人類本身能夠分辨出非常細微的細節(jié)和幾何缺陷的能力，使得生成一個高頻品質的渲染效果非常困難。此外，它還是一個非常耗時的過程，并且需要大量的設備。受測者將被長時間鎖定在一個工作室里，同時要設置幾十個攝像頭來收集必要的數據。

        但是，在今年9月6日—12日在瑞士蘇黎世舉行的計算機視覺歐洲會議（European Conference on Computer Vision）上，來自華盛頓大學的團隊展示了一種3D掃描獲取面部特征的新方式，可以避免這一切，而且使用的設備非常簡單，不需要特殊的裝置。

        “前提是，我們能夠獲取一個人在不同時間、不同環(huán)境，以不同的表情和姿勢拍攝的大量照片。事實上，大多數人在生活中總是會拍攝大量的照片和視頻。我們的建議是利用同一個人的所有可用圖片和視頻作為資料庫，來幫助在虛擬世界重建他/她的臉部。”

        他們的做法被稱為總體移動臉部掃描（Total Moving Face Scanning，TMFS），研究團隊成員包括華盛頓大學計算機科學與工程研究生 Supasorn Suwajakorn和他的導師助理教授 Ira Kemelmacher-Shlizerman、教授 Steven Seitz

        這種TMFS方法，可用于在非正常拍攝條件下的3D建模。特別是那些有著大量公開圖像、視頻數據的知名人士，諸如查爾斯王子、阿諾德·施瓦辛格、湯姆·漢克斯這類人。這應該也算大數據的一種使用方式吧。

        從下面的圖片中可以看到，軟件在綜合了各種光照條件、頭部姿勢、面部表情等數據生成了高度詳細而精確的3D渲染效果。

        這種方法顯然與常用的技術大不相同�！爱斍皫缀跛�有的3D人臉追蹤和視頻重建方法都是基于一個假設，即人臉可以通過混合形狀的線性組合來表現�！彪m然這種方法可以科學家限制參數和測量指標的數量，但它會導致在低等級的3D模型中，表現力有限，而且無法捕捉一些重要細節(jié)。

        使用TMFS方法，目標對象的圖像視頻數據越多，那么計算生成的3D形象就會越精確傳神。一個人的臉部形狀可以在每個時刻都稍有不同，但是它們的大致形狀（例如眼睛、鼻子的長度，整體幾何形狀之間的距離等），趨向于隨著時間的推移保持一致。因此，研究人員可以利用所有可用的圖像（照片和/或視頻幀）來捕捉特定條件下的平均形狀和外觀，來重建一個人的外觀和形狀的3D模型。

        3D渲染本身就是一種復雜的算法。 至關重要的是一個“照片一致性基礎上的標準，比如在同一個輸入視頻幀中比較網格效果。這種能力的關鍵取決于每個輸入幀的渲染網格能否匹配�！�

        TMFS方法的渲染過程包括了兩個步驟：第一、平均形狀（基于圖像數據庫）發(fā)生變形以匹配3D渲染里同一個形狀的運動。第二，所得到的形狀要根據每一幀中的已知細部線索進行修改。這意味著，非剛性的面部特征（如皺紋）也將首次捕獲并添加到參考幀里，在這之后一些特定的細部也將要考慮在內。 所有這一切，很明顯需要一些嚴肅的計算。

        但是結果是不會說謊的。天 工社發(fā)現，TMFS算法能夠成功地清晰捕獲類似皺紋這樣非常微小的細節(jié)和在很小尺度上的微妙表情變化，這是現有軟件無法比擬的。 正如科學家們說：

        “通過注意在每幀中面部表情的變化（相對于平均形狀），例如，嘴張開、眼睛閉合和打開、皺紋出現和消失、眼睛區(qū)域的細節(jié)等，諸如此類。該方法即使在對象動作幅度非常大的條件下也很可靠，即使是簡單的輪廓也能提供高品質的結果�！�

        TMFS技術的應用前景十分廣闊，它可以用來開發(fā)基于視頻和照片的3D建模軟件，讓對人像的3D掃描和建模變得更加簡單、方便、精確。同時也否定了使用昂貴的設備來獲得高質量結果的必要性。

        下面是介紹TMFS技術的視頻：