The Relightables可形成動(dòng)態(tài)人體3D模型

作者:陳明陽電子時(shí)報(bào)

谷歌開發(fā)了& # 34；可點(diǎn)燃的東西& # 34；該系統(tǒng)結(jié)合了動(dòng)態(tài)人體可調(diào)3D模型光照的重建技術(shù)和自由視點(diǎn)體捕捉技術(shù)，可以生成高分辨率、光源可調(diào)的3D模型動(dòng)態(tài)人體，可以應(yīng)用和集成到任何幾何精度非常高的計(jì)算機(jī)生成(CG)環(huán)境中。

體積捕捉技術(shù)可以用360度設(shè)置的多個(gè)相機(jī)拍攝動(dòng)態(tài)人體，可以產(chǎn)生像照片一樣的真實(shí)圖像，細(xì)節(jié)如衣服變形和頭發(fā)運(yùn)動(dòng)。但是用來制作動(dòng)態(tài)人體的3D模型有兩個(gè)嚴(yán)重的缺陷:一是輸出結(jié)果比3D模型更像3D電影，人體的姿態(tài)、特征、服裝都不能再改變了；其次，照明光源只能維持拍攝時(shí)的狀態(tài)，事后無法調(diào)整。

由通用體積測量和捕獲系統(tǒng)生成的3D模型缺乏高分辨率細(xì)節(jié)，并且主體的陰影已經(jīng)被預(yù)烘焙到紋理中。以往大多數(shù)體積測量和捕獲技術(shù)的研究進(jìn)展主要集中在高分辨率紋理的三維幾何重建上，很少涉及光源重照明所需的光度特性。

許多研究致力于獲得可調(diào)光源的圖像，在一組基本照明環(huán)境中拍攝人體，然后組合圖像以在目標(biāo)環(huán)境中顯示它們，并正確反映環(huán)境中的照明條件。"可點(diǎn)燃的東西& # 34；這項(xiàng)技術(shù)首先應(yīng)用于高分辨率體積測量和捕獲系統(tǒng)。通過解決光源調(diào)整的問題，生成的3D模型可以應(yīng)用于任何虛擬環(huán)境，可以反映虛擬環(huán)境的光源光照。

"可點(diǎn)燃的東西& # 34；該系統(tǒng)可以拍攝人體的全身動(dòng)作，產(chǎn)生高分辨率、照片般的、光源可調(diào)的動(dòng)態(tài)人體3D模型。虛擬光源可以使3D模型生成的圖像看起來像是被真實(shí)光源照亮，因此可以用于游戲、電影等會(huì)發(fā)生變化并自然融入應(yīng)用場景的光照環(huán)境。谷歌的研究團(tuán)隊(duì)已經(jīng)在SIGGRAPH Asia 2019 & # 34可點(diǎn)燃的東西& # 34；系統(tǒng)。

研究團(tuán)隊(duì)將對(duì)象放在一個(gè)定制的測地線球體中，球體上配備了大量的高分辨率相機(jī)，一套高分辨率的主動(dòng)深度傳感器，以及3D模型 LED燈，這些燈可以以特殊的結(jié)構(gòu)模式移動(dòng)，并在相機(jī)拍攝人體時(shí)產(chǎn)生各種顏色，這樣就可以產(chǎn)生一個(gè)高分辨率，光照不可知，可重新照明的動(dòng)態(tài)人體。

"可點(diǎn)燃的東西& # 34；該系統(tǒng)的創(chuàng)新之處在于Google AI的研究團(tuán)隊(duì)設(shè)計(jì)的專屬硬件和軟件，包括可捕捉高達(dá)12.4MP深度圖的主動(dòng)式深度傳感器；幾何和機(jī)器學(xué)習(xí)相結(jié)合的3D圖像重建系統(tǒng)用于處理輸入的高分辨率圖像并輸出具有可調(diào)光源的體視頻。

此外，它可以很好地利用以60Hz拍攝的具有不同顏色梯度照明的兩幅圖像中包含的信息來生成動(dòng)態(tài)人體的時(shí)間一致的反射系數(shù)圖。許多試驗(yàn)、比較和應(yīng)用的結(jié)果表明& # 34；可點(diǎn)燃的東西& # 34；通過系統(tǒng)體積測量捕捉的可調(diào)光源和動(dòng)態(tài)人體3D模型在應(yīng)用于任何計(jì)算機(jī)生成的環(huán)境時(shí)都能顯著增強(qiáng)真實(shí)感。