我們對(duì)歷史的了解主要來(lái)自文物,但如果我們能看到遠(yuǎn)古人類臉上的表情,那會(huì)怎么樣?如果我們能夠切實(shí)看到他通過(guò)移動(dòng)面部肌肉表達(dá)驚訝、憤怒或恐懼,甚至是對(duì)你的笑意呢?這些問(wèn)題是由貝爾格萊德大學(xué)考古學(xué)系的體質(zhì)人類學(xué)教授Sofija Stefanovi?和她的團(tuán)隊(duì)提出來(lái)的,當(dāng)時(shí),他們面對(duì)著塞爾維亞著名的萊潘斯基維爾考古遺址中的一具一萬(wàn)年前的薩滿骸骨,打算展開(kāi)開(kāi)拓性的面部重建工作。
恰好同樣位于塞爾維亞的3Lateral就該項(xiàng)目與與Stefanovi?展開(kāi)了合作。這家公司是行業(yè)領(lǐng)先的數(shù)字人類技術(shù)開(kāi)發(fā)商,現(xiàn)已隸屬于Epic Games。3Lateral的團(tuán)隊(duì)一直在與Cubic Motion(Epic Games家族的另一成員)以及虛幻引擎團(tuán)隊(duì)的同事合作開(kāi)發(fā)MetaHuman框架,并于去年免費(fèi)開(kāi)放了基于該框架的云端應(yīng)用MetaHuman Creator的搶先體驗(yàn)版。MetaHuman Creator允許任何人在幾分鐘內(nèi)創(chuàng)造出衍生自其數(shù)據(jù)庫(kù)中掃描數(shù)據(jù)的獨(dú)特高保真數(shù)字人類。
然而,全新版MetaHuman框架不僅為MetaHuman Creator帶來(lái)了新功能,也新推出了適用于虛幻引擎的MetaHuman插件。該插件最主要的功能是網(wǎng)格體轉(zhuǎn)MetaHuman,它提供了用于復(fù)活薩滿的核心技術(shù)。這項(xiàng)振奮人心的開(kāi)發(fā)成果現(xiàn)已免費(fèi)開(kāi)放給所有人使用,你可以根據(jù)自己的定制模型創(chuàng)建MetaHuman,不需要具備專門(mén)的知識(shí)即可完成類似的項(xiàng)目。
使用傳統(tǒng)技術(shù)對(duì)面部進(jìn)行物理重建
20世紀(jì)60年代,位于塞爾維亞?wèn)|部多瑙河畔的萊潘斯基維爾聚居地被首次發(fā)現(xiàn)。該遺址具有重大歷史意義,它展示了歐洲史前文化的早期發(fā)展階段。遺址出土了約500副骨架,其中一副被認(rèn)為是“薩滿”的骨架,因?yàn)楫?dāng)人們發(fā)現(xiàn)他時(shí),他是以不同尋常的盤(pán)腿蓮花坐姿出現(xiàn)的。據(jù)估計(jì),薩滿生活在公元前8000年左右。專家小組能夠根據(jù)這副骨架確定他的身高、體重,甚至判斷他主要以海鮮為食。
為了啟動(dòng)重建工作,團(tuán)隊(duì)需要為史前頭骨制作精確的物理復(fù)制品,以保持原物的完整性。在塞爾維亞諾維薩德生物傳感研究所的考古學(xué)家和3D掃描專家Jugoslav Pendi?的指導(dǎo)下,團(tuán)隊(duì)開(kāi)始使用Peel 2CAD-S掃描儀捕捉數(shù)百?gòu)?D圖像,重現(xiàn)薩滿的史前面部特征。隨后,他們使用RealityCapture將這些圖像拼接起來(lái),形成一個(gè)3D虛擬模型,這樣就可以3D打印出物理模型。

接下來(lái),頭骨復(fù)制品被交給了瑞典的法醫(yī)藝術(shù)家和考古學(xué)家Oscar Nilsson,他是為世界各地博物館重建古代人類面部模型的專家。Nilsson開(kāi)始進(jìn)行法醫(yī)面部重建工作。他會(huì)使用粘土添加肌肉層和皮膚層,其厚度由對(duì)象的性別、年齡、種族和估計(jì)體重決定。

將靜態(tài)網(wǎng)格體轉(zhuǎn)換為可動(dòng)模型
為了使實(shí)際的薩滿模型栩栩如生,他們?cè)俅问褂肞eel掃描儀掃描了尚未添加皮膚紋理和頭發(fā)的粘土重建模型,然后通過(guò)RealityCapture進(jìn)行重建,用于創(chuàng)作數(shù)字模型。應(yīng)用基本的皮膚和眼睛紋理后(下一步的先決條件),就可以為網(wǎng)格體執(zhí)行網(wǎng)格體轉(zhuǎn)MetaHuman流程了。
使用虛幻引擎5中的自動(dòng)地標(biāo)追蹤,網(wǎng)格體轉(zhuǎn)MetaHuman功能會(huì)調(diào)整MetaHuman拓?fù)淠0澹赃m應(yīng)薩滿的掃描數(shù)據(jù)。接下來(lái),這個(gè)新網(wǎng)格體會(huì)被提交到云端,并匹配到一個(gè)與薩滿面部幾何形狀和比例相似的MetaHuman,然后自動(dòng)采用該MetaHuman的面部綁定。這項(xiàng)技術(shù)使用MetaHuman Creator龐大的真人表情掃描數(shù)據(jù)庫(kù),為這張古代人臉生成了“統(tǒng)計(jì)學(xué)上的估計(jì)表情”,同時(shí)保留了差異,以維持原始的面相。
這個(gè)過(guò)程結(jié)束后,就可以在MetaHuman Creator中打開(kāi)該角色了。團(tuán)隊(duì)可以立即按下播放按鈕,使用應(yīng)用內(nèi)置的幾種預(yù)設(shè)動(dòng)畫(huà)讓薩滿復(fù)活過(guò)來(lái)。
使用MetaHuman Creator完善肖像
接下來(lái),在與考古學(xué)家、法醫(yī)以及一名MetaHuman角色美術(shù)師的合作會(huì)議中,團(tuán)隊(duì)可以在MetaHuman Creator中縮小薩滿外貌中面部毛發(fā)和皮膚屬性的范圍。對(duì)現(xiàn)有DNA的分析表明,他應(yīng)該有著“中等黑”的皮膚、黑發(fā)和棕色眼睛。“我們可以估計(jì)出皮膚、頭發(fā)和眼睛的顏色,準(zhǔn)確率超過(guò)90%。”Stefanovi?說(shuō)。

皺紋和白發(fā)是依據(jù)他的估計(jì)年齡添加的;牙齒按照頭骨形狀進(jìn)行過(guò)調(diào)整;他的發(fā)型和胡須樣式是根據(jù)公元前8000年應(yīng)該合理存在的修剪工具(如貝殼)設(shè)計(jì)的。
設(shè)計(jì)完薩滿的數(shù)字外貌后,Nilsson接下來(lái)可以將同樣的造型應(yīng)用到物理模型上,完成傳統(tǒng)的3D重建。
“MetaHuman Creator中的所有這些來(lái)回工作都做得非常出色,因?yàn)槲彝ǔP枰止ね瓿蛇@些工作,代價(jià)高昂,非常耗時(shí)。”Nilsson說(shuō),“但現(xiàn)在能通過(guò)數(shù)字方式完成這些任務(wù),這是一項(xiàng)革命性的突破。”
與古代人類實(shí)時(shí)互動(dòng)
然后,團(tuán)隊(duì)將數(shù)字模型導(dǎo)入到虛幻引擎中,創(chuàng)建了具有逼真光照的虛擬環(huán)境。他們可以使用MetaHuman面部綁定為薩滿手動(dòng)制作動(dòng)畫(huà),也可以使用免費(fèi)的Live Link Face應(yīng)用程序,通過(guò)iPhone或iPad捕捉面部動(dòng)畫(huà),實(shí)時(shí)流送給虛幻引擎中的角色。

虛擬模型和物理模型是并行制作的。最后,在2020年的迪拜世博會(huì)上,為實(shí)現(xiàn)該項(xiàng)目提供了支持的國(guó)家平臺(tái)“塞爾維亞創(chuàng)造”公開(kāi)了該模型。在展示會(huì)上,參觀者能夠通過(guò)iPhone捕捉自己的表情,然后在屏幕上看到數(shù)字薩滿通過(guò)實(shí)時(shí)動(dòng)畫(huà)做出相同的表情。
“當(dāng)沒(méi)有人與他互動(dòng)時(shí),我們就讓他打哈欠,借用同類MetaHuman的一些動(dòng)畫(huà)拉伸他的臉。”3Lateral解決方案專家Adam Kova?說(shuō),“看他微笑是一種純粹的快樂(lè)。”

Stefanovi?表示同意。“在此之前,我們從來(lái)沒(méi)有機(jī)會(huì)目睹古代人類表達(dá)情感時(shí)的樣子。”她說(shuō)。
現(xiàn)在,在貝爾格萊德的塞爾維亞國(guó)家博物館中,這個(gè)互動(dòng)裝置與該機(jī)構(gòu)收藏的萊潘斯基維爾文物一起展出。
雖然在游戲和電影行業(yè)中,MetaHuman框架引起了眾人的興趣,但萊潘斯基維爾的薩滿讓人們粗略地看到,這項(xiàng)技術(shù)將如何為傳統(tǒng)領(lǐng)域(如考古學(xué)和法醫(yī)學(xué))中的創(chuàng)新項(xiàng)目提供支持。該團(tuán)隊(duì)希望這一突破性的重建工作能夠激發(fā)其他開(kāi)拓者的想象力,在不同領(lǐng)域中進(jìn)行實(shí)驗(yàn)。“我們看到有團(tuán)隊(duì)在醫(yī)學(xué)、汽車,甚至是心理學(xué)研究領(lǐng)域探索它的用途,”Kova?說(shuō),“所以,這一技術(shù)在未來(lái)的發(fā)展方向完全取決于用戶。”
本文轉(zhuǎn)自虛幻引擎官網(wǎng)~