包含1節(jié)視頻教程
關(guān)注4.7萬次
BodyPaint 3D是游戲美工必須學(xué)習(xí)的3d繪畫軟件。如果別人問你繪制貼圖用什么?沒錯(cuò)就是BodyPaint了。趕快來學(xué)習(xí)一下吧,其實(shí)這個(gè)不比ps難多少。
Light Stage是由美國(guó)南加州大學(xué)ICT Graphic Lab的Paul Debevec所領(lǐng)導(dǎo)開發(fā)的一個(gè)高保真的三維采集重建平臺(tái)系統(tǒng)。這個(gè)系統(tǒng)是一種先進(jìn)的掃描技術(shù),可以準(zhǔn)確地對(duì)人臉進(jìn)行數(shù)字捕捉,通過各個(gè)角度光源獲取有效的主體面部表演,重建超寫實(shí)3D模型。從第一代系統(tǒng)Light Stage1于2000年誕生,至今已經(jīng)升級(jí)到Light Stage 6,最新的一代系統(tǒng)命名為L(zhǎng)ight Stage X。
Light Stage 1系統(tǒng)樣機(jī)
從誕生到最新的X版,技術(shù)和設(shè)配都在不斷的迭代和升級(jí)。這不,最近南加大ICT Graphic Lab的Paul Debevec及其團(tuán)隊(duì)成員與Google合作,整出了Light Stage實(shí)現(xiàn)不了的最新玩法——被稱為Solaris的Light Stage X4技術(shù),能夠精確地模擬包括太陽在內(nèi)的自然光照環(huán)境,用于解決CG、模擬和圖像采樣等方面的復(fù)雜問題。
Light Stage X4 : Solaris
Solaris包括4D重建技術(shù)和最前沿的Relightables投射技術(shù)。
1. 第四維度:時(shí)間
從Light Stage1誕生以來,都是通過超高分辨率的快照過程生成精細(xì)、高細(xì)節(jié)的人臉掃描。Light Stage產(chǎn)生的毛孔水平細(xì)節(jié)主要是靜止的(FACS)面部表情。那么如何讓得到的結(jié)果更更更精細(xì),具有超高細(xì)節(jié)呢?唉?南加州大學(xué)ICT團(tuán)隊(duì)就一直在琢磨這個(gè)事,他們就把解決方法放在了時(shí)間的概念上,所以就出現(xiàn)了這個(gè)第四維度:時(shí)間。與Google合作之后,他們?cè)O(shè)計(jì)了新的Light Stage,既可以掃描整個(gè)身體,又可以放大到面部進(jìn)行詳細(xì)的面部掃描,這一切都是基于時(shí)間來捕捉的。
除了4D重建之外,Solaris另一非常牛逼的技術(shù)是叫Relightables投射。這是一段帶有逼真燈光效果的角色體積表演捕捉。Relightables投射是對(duì)早期Light Stages原始功能的一種回歸,可對(duì)任何HDR采樣位置光照下的演員進(jìn)行重光照。而相比之下,Relightables投射又是一種巨大改進(jìn),它可以對(duì)正在移動(dòng)的全身進(jìn)行體積捕捉,并加入到傳統(tǒng)的CG制作流程中,還能利用深度學(xué)習(xí)生成可在任何環(huán)境中使用的高模。
通過把時(shí)間多重照明(time multiplex lighting)和一系列經(jīng)過重新設(shè)計(jì)的有源深度傳感器結(jié)合起來,研發(fā)團(tuán)隊(duì)得到了每像素細(xì)節(jié)的表面法線信息和置換貼圖,這樣就獲得了與標(biāo)準(zhǔn)攝影測(cè)量系統(tǒng)相媲美的人體掃描。
大家都知道傳統(tǒng)的攝影測(cè)量法在重建之后會(huì)產(chǎn)生一組不相關(guān)的模型,隨著時(shí)間的推移,缺乏一致性和相關(guān)性,幀與幀之間會(huì)產(chǎn)生閃爍的問題,而Relightables投射就很好的解決了這個(gè)問題。
那么接下來我們?cè)賮砹牧倪@個(gè)Light Stage X4的構(gòu)成。它是一個(gè)配備了331個(gè)定制LED燈、一系列高分辨率相機(jī)和一組定制的高分辨率深度傳感器的龐大裝置。系統(tǒng)使用特殊的色彩梯度照明,可以60fps進(jìn)行有效拍攝,以30fps輸出詳細(xì)、連續(xù)、可重新打光的3D模型。
為了使系統(tǒng)和演員的配合完美一些,燈光系統(tǒng)會(huì)在兩個(gè)梯度之間以180Hz頻率變化,速度快到你無法察覺,相機(jī)以60Hz的頻率運(yùn)行,短快門每3幀捕捉一次。這樣兩種模式交替出現(xiàn),演員就出現(xiàn)穩(wěn)定平均的燈光效果了,而且沒有閃爍的現(xiàn)象。
Light Stage X4具有多個(gè)自定義深度傳感器,可以60 Hz捕捉高分辨率 (4112X3008) 的深度圖,它有90臺(tái)高分辨率12.4 MP重建攝像機(jī),有32臺(tái)使用主動(dòng)紅外光照的紅外相機(jī)和58臺(tái)RGB相機(jī)組合而成的捕捉系統(tǒng)。
又是紅外又是RGB的,都負(fù)責(zé)干啥呢?這里的紅外傳感器用來提供準(zhǔn)確可靠的3D測(cè)量,RGB相機(jī)用來捕捉高質(zhì)量的幾何法線貼圖和紋理,攝像機(jī)使用兩種不同交錯(cuò)可見的照明條件或球形梯度照明來拍攝原始視頻。一段600幀或10秒鐘的剪輯片段將生成大約650GB數(shù)據(jù),相當(dāng)于每秒800億像素(!大的有些驚人了)上傳到Google云端,以備需要時(shí)采用。
除了密度和模型細(xì)節(jié)都非常出色之外,這個(gè)系統(tǒng)還具有創(chuàng)新的算法,即使演員在表演雜;蚴亲鲆恍⿵(fù)雜的手部動(dòng)作,它也能夠提供合理且穩(wěn)定的幾何形狀。很多普通體積系統(tǒng)雖然可以捕捉到凸起形狀,但遇到表演者手拿球,例如球從一只手換到另一只手的過程中,是很難將球和手分開捕捉的,從手部動(dòng)作和卷起衣服的位置很容易就能看出破綻。而Relightables投射不僅能解決這些,還能處理頭發(fā)掃描和其他比較難處理的面部問題。
考慮到復(fù)雜的設(shè)置,Light Stage X4的工作過程不依賴于綠幕摳像重建的方式,而是使用基于分割的深度學(xué)習(xí)技術(shù)來檢索精確邊緣,生成模型的多邊形邊界。
2. Relightables投射vs Kinect
Relightables投射捕捉的是全身掃描,雖然比傳統(tǒng)的Light Stage面部掃描多出很多內(nèi)容,但Light Stage X4 并不是第一個(gè)、也不是最大一個(gè)做出這種嘗試的系統(tǒng),Light Stage 6比它還大,而且是第一個(gè)實(shí)現(xiàn)全身掃描的Light Stage,只是沒營(yíng)養(yǎng)的提一下,但我們今天并不打算聊Light Stage 6。
Relightables投射實(shí)現(xiàn)的真實(shí)效果和準(zhǔn)確性的方法之一,就是在捕捉過程中進(jìn)行投射的模式。這種方式比以前的解決方案更加密集和詳細(xì)。時(shí)下最為流行就是是微軟的Kinect Sensor。對(duì),就是大家玩的那個(gè)游戲傳感器。它是根據(jù)光反射回來的時(shí)間判斷物體的方位,當(dāng)然檢測(cè)光的飛行速度是幾乎不能實(shí)現(xiàn)的,所以發(fā)射一道強(qiáng)弱隨時(shí)間變化的正弦光束,然后計(jì)算其回來的相位差值。
下面這張圖就對(duì)比了Kinect和Relightables投射的效果。
從上面的圖可以看出,Relightebles投射比較密集而且復(fù)雜,它基本達(dá)到了Kinect所能提供的激光投射效果,但Relightebles投射亮度提高了10倍,分辨率提高了10倍,圖案也更加獨(dú)特了。
3. Light stage X4光譜感應(yīng)和照明
南加大ICT團(tuán)隊(duì)還研究了可用于新型光譜渲染器的全光譜捕捉。Solaris具有7種LED顏色,可用于生成受控的光譜照明,除了紅色、綠色和藍(lán)色之外,還有通常與藍(lán)色搭配使用的寶藍(lán)色、淺綠色、琥珀色(黃褐色)和白色。
設(shè)備中有90臺(tái)相機(jī)是12.4MP分辨率的相機(jī)(前面已經(jīng)說過了)。RGB和IR相機(jī)使用的都是使用Sony IMX253傳感器的Ximea科學(xué)相機(jī) (XimeaMX124),該傳感器是4112x3008分辨率的CMOS 芯片,更重要的是它具有全局快門。表面重建流程,58個(gè)彩色攝像機(jī)和32臺(tái)IR相機(jī)從多視圖(動(dòng)態(tài)立體)生成90個(gè)深度圖,多數(shù)圖算法帶有可產(chǎn)生緊密點(diǎn)云的語義分割功能,這些緊密點(diǎn)云可用來進(jìn)行泊松幾何重建。
4. 為什么采用60Hz進(jìn)行拍攝?
說到這里可能有小伙伴想問,現(xiàn)在數(shù)碼相機(jī)都能以更高幀速率拍攝了,為啥他們還用60Hz?研發(fā)團(tuán)隊(duì)為咱們做出了解釋。為了捕捉光度表面法向,需要兩個(gè)顏色梯度圖。這兩個(gè)三維反轉(zhuǎn)梯度合為正常的均勻白光,組合而成的白光會(huì)提供RGB紋理貼圖,兩個(gè)成對(duì)梯度圖之間的差異提供了表面法線。因此對(duì)于每個(gè)輸出幀來說,需要有兩個(gè)圖像。南加州大學(xué)ICT團(tuán)隊(duì)使用更快的高速相機(jī)進(jìn)行了實(shí)驗(yàn),但是拍攝速度越快,產(chǎn)生的噪點(diǎn)就越多,因?yàn)槊繋毓馑枰臅r(shí)間越來越少,與1/60s的快門相比,1/500s的快門使光到達(dá)傳感器的時(shí)間要少的多,想要解決問題,要么在景深上妥協(xié),要么大幅增加落在被捕捉物體上的光照,但后者會(huì)引起演員的不適感。當(dāng)然這些只是一部分答案。
速度稍高一些的相機(jī)不是不能用,只是60fps的更實(shí)用,不會(huì)產(chǎn)生比實(shí)際需求量多出10倍的海量數(shù)據(jù)來。另外,他們并沒有使用面部掃描產(chǎn)生更多數(shù)據(jù),而是采用了最近大火的機(jī)器學(xué)習(xí)。首先使用OLAT(One Light At a Time)數(shù)據(jù)集(之前稱其為4D反射場(chǎng))在光線來源的每個(gè)方向創(chuàng)建一個(gè)面部訓(xùn)練數(shù)據(jù)集,將每個(gè)面部在兩種標(biāo)準(zhǔn)顏色梯度照明條件下的外觀添加到機(jī)器學(xué)習(xí)中。這是 Light stage使用的最標(biāo)準(zhǔn)的照明模式,先以一種顏色梯度照亮演員,接著是第二種顏色梯度,然后以螺旋狀從上到下旋轉(zhuǎn)燈光。
團(tuán)隊(duì)表示他們會(huì)用“在每個(gè)燈光方向兩個(gè)梯度是什么樣子的、角色在整個(gè)反射場(chǎng)是什么樣子的”來訓(xùn)練神經(jīng)網(wǎng)絡(luò),完成訓(xùn)練階段后向其發(fā)送一張新的僅帶有顏色梯度的面部圖像,并詢問這個(gè)OLAT是什么樣的,作為神經(jīng)網(wǎng)絡(luò)來說,輸出效果還是相當(dāng)不錯(cuò)的。這樣團(tuán)隊(duì)就可在單獨(dú)燈光條件下從HDR進(jìn)行基于圖像的照明,結(jié)果也非常合理。
虛擬制作
新的Light stage系統(tǒng)在虛擬制作中有著非常有趣的應(yīng)用,它可以測(cè)試演員在任何給定燈光條件下、在任何位置的表演,可像掃描布料那樣來評(píng)估衣著服飾,并如實(shí)復(fù)制其款式和顏色。
有一個(gè)必須要考慮到的因素就是,這些過程都是自動(dòng)生成的合成,并不包括像邊緣融合、燈光包裹、光暈等任何標(biāo)準(zhǔn)合成技術(shù),也不包括任何和添加霧或深度提示的功能。
Solaris也可以在沒有人在場(chǎng)的情況下運(yùn)行,把人偶放到系統(tǒng)中心的座位上,團(tuán)隊(duì)遠(yuǎn)程打開系統(tǒng)進(jìn)行測(cè)試拍攝,結(jié)束之后將其關(guān)閉就可以了。
未來方向
未來肯定會(huì)有更多機(jī)會(huì)使用到Light Stage X4技術(shù)和機(jī)器學(xué)習(xí),而在Light Stage X4中對(duì)全身進(jìn)行采樣時(shí)也可能會(huì)用到其他類似的技術(shù)。Google團(tuán)隊(duì)也在探索其他工程技術(shù),當(dāng)然Relightables投射很實(shí)用,為輕量級(jí)資產(chǎn)生成可在移動(dòng)硬件上播放的圖像提供了可能。
研發(fā)團(tuán)隊(duì)成員表示,弄清楚如何重現(xiàn)一個(gè)與神經(jīng)相關(guān)的角色版本并在實(shí)際制作中使用是一件很有趣的工作,雖然機(jī)器學(xué)習(xí)的速度很慢,但在實(shí)際應(yīng)用時(shí)還是很快的,這種技術(shù)也會(huì)推廣到適用于Google的其他案例上并非不可能,但仍需不斷努力。
朱峰社區(qū)網(wǎng)頁(yè)版(手機(jī)掃描-分享-添加到屏幕)
朱峰社區(qū)微信公眾號(hào)(微信掃一掃-關(guān)注)
未知用戶
2005-2024 朱峰社區(qū) 版權(quán)所有 遼ICP備2021001865號(hào)-1
2005-2024 ZhuFeng Community All Rights Reserved
VIP