我差點(diǎn)以為是我！這個(gè)3D人體生成模型，很神奇。也可以自己換個(gè)姿勢。
豐富的色彩來自奧菲斯| QbitAI的量子位報(bào)告，微信官方賬號
很多3D人體模型很厲害，但是“裸奔”總是不可避免的。
像打造一個(gè)真正的人類“頭像”模型，衣服和頭發(fā)缺一不可。
然而，這些元素的精確3D數(shù)據(jù)非常稀少且難以獲得。
三星AI中心(莫斯科)和其他團(tuán)隊(duì)的技術(shù)人員一直致力于這項(xiàng)研究，最后他們開發(fā)了這樣一個(gè)模型:
生成的3D人物，穿著他們原來的衣服和發(fā)型，也毫無保留的呈現(xiàn)出來。
乍一看，“像個(gè)真人”。
更好的是，不用模特示范，模型可以“舉一反三”，擺出各種姿勢！
效果是這樣的:
模型名為StylePeople。
讓我們看看是怎么發(fā)生的！模型(神經(jīng)修整模型)
其實(shí)不僅僅是“裸奔”，很多3D人體還是“剛性”的:模特?cái)[什么姿勢，模型就跟什么姿勢。
就像之前一樣，隱函數(shù)生成的三維人體模型可以高度還原模特的著裝和發(fā)型，但是人物的姿勢還是不夠靈活，只能從原模特的幾個(gè)特定視角生成。
贊美詩也是這個(gè)團(tuán)隊(duì)的研究成果。
所以在為3D人體模型還原衣服的顏色、褶皺、發(fā)型的同時(shí)，還需要保證人物的姿勢能夠舉一反三。
因此，研究者采用多邊形實(shí)體網(wǎng)格建模和神經(jīng)紋理相結(jié)合的方法。
多邊形負(fù)責(zé)控制和建模人體的粗略幾何姿態(tài)，神經(jīng)渲染負(fù)責(zé)添加衣服和頭發(fā)。
首先，他們設(shè)計(jì)了一個(gè)神經(jīng)包扎模型模型，它結(jié)合了可變形網(wǎng)格建模和神經(jīng)渲染，如下圖所示。
左欄顯示了可視化的前三個(gè)PCA成分。
第二列和第三列是疊加在SMPL-X建模的人體網(wǎng)格上的“人體頭像”的紋理
列4和列5是通過光柵化渲染網(wǎng)絡(luò)渲染的結(jié)果。
能優(yōu)雅地處理寬松的衣服和長發(fā)以及復(fù)雜的穿衣結(jié)構(gòu)！
接下來，基于上述神經(jīng)敷料模型，研究人員創(chuàng)造了一個(gè)可以生成“芬布迪”的3D人體模型。
最終一代架構(gòu)是StyleGANv2和神經(jīng)敷料的結(jié)合。
在StyleGAN部分，神經(jīng)紋理由反向傳播算法生成，然后疊加在SMPL-X網(wǎng)格上，由神經(jīng)渲染器渲染。
在對抗性學(xué)習(xí)中，鑒別者將每一對圖像視為同一個(gè)人。提高從視頻和少量圖像生成3D人體模型的技術(shù)水平。
在對神經(jīng)包扎方法效果的驗(yàn)證中，研究人員首先基于視頻資料對3D模型生成結(jié)果進(jìn)行了評估。
如文章開頭的圖片所示，左邊是樣本源幀，其余圖片是左邊視頻人物的“頭像”。在簡單的增強(qiáng)現(xiàn)實(shí)程序背景下，呈現(xiàn)出模型之前從未擺過的各種姿勢。
接下來，基于小樣本圖像資料評估神經(jīng)包扎效果。
研究人員使用只有兩個(gè)人的人物快照數(shù)據(jù)集，將他們的神經(jīng)包扎方法與其他方法(如360度等)進(jìn)行比較。，請參見表)。
衡量生成模型質(zhì)量的指標(biāo)有LPIPS(感知相似度)、SSIM(結(jié)構(gòu)相似度)、FID(真實(shí)樣本與生成樣本在特征空間的距離)、IS(清晰度和多樣性評分)。
結(jié)果表明，該方法在各項(xiàng)指標(biāo)上都有優(yōu)勢，
除了IS，影響不大，因?yàn)楹鸵曈X質(zhì)量的相關(guān)性最小。
最后，團(tuán)隊(duì)表示，他們的模型生成效果(如下圖)仍然受到當(dāng)前樣本數(shù)據(jù)規(guī)模和質(zhì)量的限制，未來的工作將致力于提高這種模型的數(shù)據(jù)利用率。
有興趣的同學(xué)可以隨時(shí)關(guān)注團(tuán)隊(duì)的研究進(jìn)展。
參考鏈接:
[1]https://arxiv . org/ABS/2104.08363
—結(jié)束—
量子qbitai頭條號簽約
關(guān)注我們，第一時(shí)間獲悉前沿科技動(dòng)態(tài)。
