MIT使用AI從2D視頻創(chuàng)建3D打印的“運(yùn)動(dòng)雕塑”

對(duì)運(yùn)動(dòng)的理解是所有生物物種的基礎(chǔ)，無(wú)論它是在計(jì)算投球的角度，還是看到捕食者和獵物的運(yùn)動(dòng)。 但簡(jiǎn)單的視頻實(shí)際上無(wú)法給我們?nèi)�面的了解�?由于用于研究運(yùn)動(dòng)的傳統(tǒng)視頻和照片是二維的，因此它們不向我們展示感興趣的人或主題的潛在3D結(jié)構(gòu)。

現(xiàn)在麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室，谷歌研究所和加州大學(xué)伯克利分校的研究人員已經(jīng)提出了一種人工智能（AI）系統(tǒng)來(lái)展示人體如何運(yùn)動(dòng)。

該系統(tǒng)被稱為MoSculp，它使用的算法可以拍攝2D視頻并將其轉(zhuǎn)換為3D打印的“運(yùn)動(dòng)雕塑”。 它可以為職業(yè)運(yùn)動(dòng)員，舞者或任何想要提高身體技能的人提供更詳細(xì)的運(yùn)動(dòng)研究。

“想象一下，你有一個(gè)關(guān)于羅杰費(fèi)德勒在網(wǎng)球比賽中投球的視頻，以及一個(gè)自己學(xué)習(xí)網(wǎng)球的視頻，”博士生張秀明說(shuō)。 “然后你可以建立兩種情景的動(dòng)作雕塑來(lái)比較它們，并更全面地研究你需要改進(jìn)的地方�！�

以下是它在實(shí)踐中的工作原理：將視頻加載到系統(tǒng)后，MoSculp將檢測(cè)到的關(guān)鍵點(diǎn)覆蓋在輸入幀上，并通過(guò)幾個(gè)隨機(jī)選擇的幀確認(rèn)它們。 （內(nèi)置的校正工具可以讓用戶在必要時(shí)進(jìn)行調(diào)整。）在校正“暫時(shí)不一致的檢測(cè)”后，它會(huì)生成運(yùn)動(dòng)雕塑并將其加載到自定義界面中。

這是一個(gè)多步驟過(guò)程，所有MoSculp需求都是視頻序列。 以下是它的工作原理：將視頻加載到系統(tǒng)后，MoSculp會(huì)首先自動(dòng)檢測(cè)拍攝對(duì)象身體上的2D關(guān)鍵點(diǎn)，例如芭蕾舞女演員的髖關(guān)節(jié)，膝關(guān)節(jié)和踝關(guān)節(jié)，同時(shí)進(jìn)行復(fù)雜的舞蹈序列。 然后，它將這些點(diǎn)的最佳姿勢(shì)轉(zhuǎn)化為3D“骨架”。

將這些骨架拼接在一起后，系統(tǒng)會(huì)生成一個(gè)可以3D打印的運(yùn)動(dòng)雕塑，顯示主體追蹤的平滑，連續(xù)的運(yùn)動(dòng)路徑。用戶可以在雕塑周圍導(dǎo)航并定制他們的圖形以聚焦于不同的身體部位，分配不同的材料以區(qū)分部件，甚至自定義照明，然后使用3D打印機(jī)進(jìn)行打印。

在試驗(yàn)期間，研究人員發(fā)現(xiàn)超過(guò)75％的受試者認(rèn)為MoSculp提供了比標(biāo)準(zhǔn)攝影技術(shù)更詳細(xì)的運(yùn)動(dòng)學(xué)習(xí)可視化。

該系統(tǒng)最適合較大的動(dòng)作，例如在舞蹈序列中投球或進(jìn)行一次飛躍。它也適用于可能阻礙或復(fù)雜運(yùn)動(dòng)的情況，例如穿著寬松衣服或攜帶物品的人。

目前，MoSculp僅使用單一主題視頻，但該團(tuán)隊(duì)希望擴(kuò)展到多個(gè)人。在未來(lái)，他們相信它可以用于研究諸如社交障礙，人際交往和團(tuán)隊(duì)動(dòng)態(tài)之類的事情。

第一作者張秀明帶著團(tuán)隊(duì)的一部“動(dòng)感雕塑”

“舞蹈和高技能運(yùn)動(dòng)通�？雌饋�(lái)像'移動(dòng)雕塑'，但它們只會(huì)形成稍縱即逝的短暫形狀，”Adobe傳播負(fù)責(zé)人Courtney Brigham說(shuō)。 “這項(xiàng)工作展示了如何采取動(dòng)作并將其轉(zhuǎn)化為具有客觀運(yùn)動(dòng)可視化的真實(shí)雕塑，為運(yùn)動(dòng)員提供了一種分析他們的訓(xùn)練動(dòng)作的方式，不需要比移動(dòng)攝像機(jī)更多的設(shè)備和一些計(jì)算時(shí)間�！�

該團(tuán)隊(duì)將于下個(gè)月在德國(guó)柏林的用戶界面軟件和技術(shù)（UIST）會(huì)議上展示他們的論文（“MoSculp：形狀和時(shí)間的交互式可視化”）。


編譯自：3ders