可將圖文轉(zhuǎn)成3D模型！OpenAI 發(fā)表新的Shap-E開(kāi)源模型

2023年5月15日，南極熊獲悉，發(fā)布著名人工智能產(chǎn)品ChatGPT 的OpenAI公司近日在 GitHub 網(wǎng)站上上發(fā)布了一款名為Shap-E 的條件生成模型，專(zhuān)門(mén)用于生成3D 圖像。該模型可供用戶免費(fèi)下載使用，它能夠使用文本從頭開(kāi)始生成模型，從而將 2D 圖像轉(zhuǎn)換為 3D 模型，還可以獲取模型并對(duì)其進(jìn)行更改。從長(zhǎng)遠(yuǎn)來(lái)看，這可能會(huì)大大增加 3D 打印的普及率。畢竟對(duì)于3D打印從業(yè)者來(lái)講，熟練的建模能力是不可或缺的一環(huán)。

Shap-E下載鏈接：https://github.com/openai/shap-e

與這項(xiàng)研究相關(guān)的還有一篇由 Alex Nichol 和 Haewoo Jun 撰寫(xiě)的隨附論文，題為“Shap-E: GeneratingConditional 3D Implicit Functions”。

論文鏈接：https://arxiv.org/abs/2305.02463

根據(jù) OpenAI 的說(shuō)法，Shap-E是一種新型的3D 圖像條件生成模型。傳統(tǒng)的模型只能生成單一的輸出表達(dá)形式，但Shap·E 可以生成隱式函數(shù)的參數(shù)，這些函數(shù)可以作為紋理網(wǎng)格或神經(jīng)輻射場(chǎng)(NeRF) 進(jìn)行渲染，從而實(shí)現(xiàn)多樣化和逼真的3D 圖像生成。Shap·E 采用了隱式神經(jīng)表示(INRs) 來(lái)編碼3D 圖像，提供了一個(gè)靈活且高效的框架，能夠捕捉到3D 圖像的詳細(xì)幾何特征。

使用AI 生成3D 模型是想當(dāng)困難的，因?yàn)?D 模型可以是非常復(fù)雜，具有大量的細(xì)節(jié)和紋理。因此，需要處理大量的數(shù)據(jù)和計(jì)算來(lái)生成這些模型，這需要強(qiáng)大的計(jì)算機(jī)和算法支持。同時(shí)需要精確測(cè)量和處理大量的數(shù)據(jù)，包括幾何形狀、尺寸、紋理、顏色等等。因此，算法必須具有高度的精度和準(zhǔn)確性，以確保生成的3D 模型符合預(yù)期。

Shap-E 的訓(xùn)練包括先將編碼器用來(lái)將3D 圖像轉(zhuǎn)換成隱式函數(shù)參數(shù)，再用有條件擴(kuò)散模型進(jìn)行訓(xùn)練，從而生成多樣且復(fù)雜的3D 圖像。與Point-E 模型相比，Shap-E 在更高維度和多重表示輸出空間的情況下，顯示出更快的修正速度和相當(dāng)或更好的樣本質(zhì)量。

與Point-E的對(duì)比

OpenAI去年發(fā)表的Point-E是據(jù)文字提示產(chǎn)生3D點(diǎn)狀云，而新發(fā)布的Shap-E可以將文字或圖片轉(zhuǎn)成3D圖形的Shap-E模型。輸出文件可以在微軟小畫(huà)家3D（Paint 3D）中打開(kāi)，甚至能夠轉(zhuǎn)成用于3D打印機(jī)的STL文件。此外，Shap-E相較去年發(fā)表的Point-E，能夠提供更好的3D圖像，產(chǎn)出效率更高。

OpenAI所開(kāi)發(fā)的Shap-E 3D模型，是直接建立出物體的輪廓，并采用神經(jīng)輻射場(chǎng)（Neural Radiance Fields，NeRF）的功能，克服了初期模型的模糊性。NeRF與VR、AR使用的技術(shù)相同，可使3D場(chǎng)景視覺(jué)上更有臨場(chǎng)真實(shí)。Shap-E 可在GitHub下載，并能在個(gè)人電腦上安裝執(zhí)行，目前Shap-E也不需要OpenAI API密鑰，能夠免費(fèi)使用。

據(jù)外媒《Tom's Hardware》測(cè)試，Shap-E無(wú)論是要利用圖片還是文字都需要大量的電腦系統(tǒng)資源。Tom'sHardware 指出，例如以搭載RTX 3080顯卡和Ryzen9 5900X處理器的桌機(jī)跑Shap-E，完成繪制大約需要5分鐘。

而在ROG電競(jìng)筆電配備RTX 4090顯卡和Intel Core i9-13980HX處理，只需要兩到三分鐘。但當(dāng)嘗試在搭載Intel第8 代U 系列處理器結(jié)合內(nèi)建顯卡的舊款筆電跑Shap-E，1 個(gè)小時(shí)只繪制約3%。此外Shap-E 不支援NVIDIA以外的顯卡品牌，硬體規(guī)格需要達(dá)到一定程度，才不會(huì)耗費(fèi)許多等待時(shí)間。整體而言，目前Shap-E的成果多數(shù)仍是低解析度，缺少細(xì)節(jié)。

開(kāi)源的Shap-E 模型

用戶可以在 GitHub 上免費(fèi)下載Shap-E模型，并在 Microsoft Paint 3D 上打開(kāi)這一程序。該程序可以將用戶創(chuàng)建的渲染3D圖像轉(zhuǎn)換為 STL 文件，并通過(guò)3D 打印機(jī)如實(shí)呈現(xiàn)出來(lái)。

雖然 Shap-E 模型的這些基本知識(shí)可能看起來(lái)很簡(jiǎn)單，但可能需要一些技術(shù)知識(shí)才能安裝和運(yùn)行該模型。

Shap-E 開(kāi)源模型的開(kāi)發(fā)者Avram Piltch對(duì)其進(jìn)行測(cè)試，他聲稱(chēng)他花了 8 個(gè)小時(shí)才熟悉。他補(bǔ)充說(shuō)，除了解釋您應(yīng)該使用 Python pip 命令進(jìn)行安裝之外，OpenAI 幾乎沒(méi)有提供任何說(shuō)明。

安裝后，Piltch 說(shuō)他能夠使用彩色動(dòng)畫(huà) GIF 文件和單色 PLY 文件測(cè)試提示，他指出，動(dòng)畫(huà) GIF 很受歡迎。這其中的一些有趣案例如下所示：包括一只企鵝、一把椅子和一架看起來(lái)像香蕉的飛機(jī)，所有這些都有不同的質(zhì)量級(jí)別，具體取決于它們的文件類(lèi)型。Piltch 還使用了該模型的功能，該功能允許用戶上傳 2D 圖像以轉(zhuǎn)換為 3D 對(duì)象。

△彩色動(dòng)畫(huà)GIF 文件

Shap-E開(kāi)發(fā)者還指出，那些試圖安裝Shap-E 和渲染 3D 對(duì)象的人需要注意的是該模型需要大量的電腦系統(tǒng)資源。特別是，Shap-E 僅與 Nvidia GPU 兼容，需要高性能 CPU 才能在幾分鐘而不是幾小時(shí)內(nèi)完成渲染。