掃描動(dòng)態(tài)人物生成高模合成到CG場(chǎng)景

Light Stage是由美國(guó)南加州大學(xué)ICT Graphic Lab的Paul Debevec所領(lǐng)導(dǎo)開發(fā)的一個(gè)高保真的三維采集重建平臺(tái)系統(tǒng)。這個(gè)系統(tǒng)是一種先進(jìn)的掃描技術(shù)，可以準(zhǔn)確地對(duì)人臉進(jìn)行數(shù)字捕捉，通過各個(gè)角度光源獲取有效的主體面部表演，重建超寫實(shí)3D模型。從第一代系統(tǒng)Light Stage1于2000年誕生，至今已經(jīng)升級(jí)到Light Stage 6，最新的一代系統(tǒng)命名為L(zhǎng)ight Stage X。

Light Stage 1系統(tǒng)樣機(jī)

從誕生到最新的X版，技術(shù)和設(shè)配都在不斷的迭代和升級(jí)。這不，最近南加大ICT Graphic Lab的Paul Debevec及其團(tuán)隊(duì)成員與Google合作，整出了Light Stage實(shí)現(xiàn)不了的最新玩法——被稱為Solaris的Light Stage X4技術(shù)，能夠精確地模擬包括太陽在內(nèi)的自然光照環(huán)境，用于解決CG、模擬和圖像采樣等方面的復(fù)雜問題。

 Light Stage X4 : Solaris 

Solaris包括4D重建技術(shù)和最前沿的Relightables投射技術(shù)。

1. 第四維度：時(shí)間

從Light Stage1誕生以來，都是通過超高分辨率的快照過程生成精細(xì)、高細(xì)節(jié)的人臉掃描。Light Stage產(chǎn)生的毛孔水平細(xì)節(jié)主要是靜止的（FACS）面部表情。那么如何讓得到的結(jié)果更更更精細(xì)，具有超高細(xì)節(jié)呢？唉？南加州大學(xué)ICT團(tuán)隊(duì)就一直在琢磨這個(gè)事，他們就把解決方法放在了時(shí)間的概念上，所以就出現(xiàn)了這個(gè)第四維度：時(shí)間。與Google合作之后，他們?cè)O(shè)計(jì)了新的Light Stage，既可以掃描整個(gè)身體，又可以放大到面部進(jìn)行詳細(xì)的面部掃描，這一切都是基于時(shí)間來捕捉的。

除了4D重建之外，Solaris另一非常牛逼的技術(shù)是叫Relightables投射。這是一段帶有逼真燈光效果的角色體積表演捕捉。Relightables投射是對(duì)早期Light Stages原始功能的一種回歸，可對(duì)任何HDR采樣位置光照下的演員進(jìn)行重光照。而相比之下，Relightables投射又是一種巨大改進(jìn)，它可以對(duì)正在移動(dòng)的全身進(jìn)行體積捕捉，并加入到傳統(tǒng)的CG制作流程中，還能利用深度學(xué)習(xí)生成可在任何環(huán)境中使用的高模。

通過把時(shí)間多重照明（time multiplex lighting）和一系列經(jīng)過重新設(shè)計(jì)的有源深度傳感器結(jié)合起來，研發(fā)團(tuán)隊(duì)得到了每像素細(xì)節(jié)的表面法線信息和置換貼圖，這樣就獲得了與標(biāo)準(zhǔn)攝影測(cè)量系統(tǒng)相媲美的人體掃描。

大家都知道傳統(tǒng)的攝影測(cè)量法在重建之后會(huì)產(chǎn)生一組不相關(guān)的模型，隨著時(shí)間的推移，缺乏一致性和相關(guān)性，幀與幀之間會(huì)產(chǎn)生閃爍的問題，而Relightables投射就很好的解決了這個(gè)問題。

那么接下來我們?cè)賮砹牧倪@個(gè)Light Stage X4的構(gòu)成。它是一個(gè)配備了331個(gè)定制LED燈、一系列高分辨率相機(jī)和一組定制的高分辨率深度傳感器的龐大裝置。系統(tǒng)使用特殊的色彩梯度照明，可以60fps進(jìn)行有效拍攝，以30fps輸出詳細(xì)、連續(xù)、可重新打光的3D模型。

為了使系統(tǒng)和演員的配合完美一些，燈光系統(tǒng)會(huì)在兩個(gè)梯度之間以180Hz頻率變化，速度快到你無法察覺，相機(jī)以60Hz的頻率運(yùn)行，短快門每3幀捕捉一次。這樣兩種模式交替出現(xiàn)，演員就出現(xiàn)穩(wěn)定平均的燈光效果了，而且沒有閃爍的現(xiàn)象。

Light Stage X4具有多個(gè)自定義深度傳感器，可以60 Hz捕捉高分辨率 (4112X3008) 的深度圖，它有90臺(tái)高分辨率12.4 MP重建攝像機(jī)，有32臺(tái)使用主動(dòng)紅外光照的紅外相機(jī)和58臺(tái)RGB相機(jī)組合而成的捕捉系統(tǒng)。

又是紅外又是RGB的，都負(fù)責(zé)干啥呢？這里的紅外傳感器用來提供準(zhǔn)確可靠的3D測(cè)量，RGB相機(jī)用來捕捉高質(zhì)量的幾何法線貼圖和紋理，攝像機(jī)使用兩種不同交錯(cuò)可見的照明條件或球形梯度照明來拍攝原始視頻。一段600幀或10秒鐘的剪輯片段將生成大約650GB數(shù)據(jù)，相當(dāng)于每秒800億像素（！大的有些驚人了）上傳到Google云端，以備需要時(shí)采用。

除了密度和模型細(xì)節(jié)都非常出色之外，這個(gè)系統(tǒng)還具有創(chuàng)新的算法，即使演員在表演雜�；蚴亲鲆恍�復(fù)雜的手部動(dòng)作，它也能夠提供合理且穩(wěn)定的幾何形狀。很多普通體積系統(tǒng)雖然可以捕捉到凸起形狀，但遇到表演者手拿球，例如球從一只手換到另一只手的過程中，是很難將球和手分開捕捉的，從手部動(dòng)作和卷起衣服的位置很容易就能看出破綻。而Relightables投射不僅能解決這些，還能處理頭發(fā)掃描和其他比較難處理的面部問題。

考慮到復(fù)雜的設(shè)置，Light Stage X4的工作過程不依賴于綠幕摳像重建的方式，而是使用基于分割的深度學(xué)習(xí)技術(shù)來檢索精確邊緣，生成模型的多邊形邊界。

2. Relightables投射vs Kinect

Relightables投射捕捉的是全身掃描，雖然比傳統(tǒng)的Light Stage面部掃描多出很多內(nèi)容，但Light Stage X4 并不是第一個(gè)、也不是最大一個(gè)做出這種嘗試的系統(tǒng)，Light Stage 6比它還大，而且是第一個(gè)實(shí)現(xiàn)全身掃描的Light Stage，只是沒營(yíng)養(yǎng)的提一下，但我們今天并不打算聊Light Stage 6。

Relightables投射實(shí)現(xiàn)的真實(shí)效果和準(zhǔn)確性的方法之一，就是在捕捉過程中進(jìn)行投射的模式。這種方式比以前的解決方案更加密集和詳細(xì)。時(shí)下最為流行就是是微軟的Kinect Sensor。對(duì)，就是大家玩的那個(gè)游戲傳感器。它是根據(jù)光反射回來的時(shí)間判斷物體的方位，當(dāng)然檢測(cè)光的飛行速度是幾乎不能實(shí)現(xiàn)的，所以發(fā)射一道強(qiáng)弱隨時(shí)間變化的正弦光束，然后計(jì)算其回來的相位差值。

下面這張圖就對(duì)比了Kinect和Relightables投射的效果。

從上面的圖可以看出，Relightebles投射比較密集而且復(fù)雜，它基本達(dá)到了Kinect所能提供的激光投射效果，但Relightebles投射亮度提高了10倍，分辨率提高了10倍，圖案也更加獨(dú)特了。

3. Light stage X4光譜感應(yīng)和照明

南加大ICT團(tuán)隊(duì)還研究了可用于新型光譜渲染器的全光譜捕捉。Solaris具有7種LED顏色，可用于生成受控的光譜照明，除了紅色、綠色和藍(lán)色之外，還有通常與藍(lán)色搭配使用的寶藍(lán)色、淺綠色、琥珀色（黃褐色）和白色。

設(shè)備中有90臺(tái)相機(jī)是12.4MP分辨率的相機(jī)（前面已經(jīng)說過了）。RGB和IR相機(jī)使用的都是使用Sony IMX253傳感器的Ximea科學(xué)相機(jī) (XimeaMX124)，該傳感器是4112x3008分辨率的CMOS 芯片，更重要的是它具有全局快門。表面重建流程，58個(gè)彩色攝像機(jī)和32臺(tái)IR相機(jī)從多視圖（動(dòng)態(tài)立體）生成90個(gè)深度圖，多數(shù)圖算法帶有可產(chǎn)生緊密點(diǎn)云的語義分割功能，這些緊密點(diǎn)云可用來進(jìn)行泊松幾何重建。

4. 為什么采用60Hz進(jìn)行拍攝？

說到這里可能有小伙伴想問，現(xiàn)在數(shù)碼相機(jī)都能以更高幀速率拍攝了，為啥他們還用60Hz？研發(fā)團(tuán)隊(duì)為咱們做出了解釋。為了捕捉光度表面法向，需要兩個(gè)顏色梯度圖。這兩個(gè)三維反轉(zhuǎn)梯度合為正常的均勻白光，組合而成的白光會(huì)提供RGB紋理貼圖，兩個(gè)成對(duì)梯度圖之間的差異提供了表面法線。因此對(duì)于每個(gè)輸出幀來說，需要有兩個(gè)圖像。南加州大學(xué)ICT團(tuán)隊(duì)使用更快的高速相機(jī)進(jìn)行了實(shí)驗(yàn)，但是拍攝速度越快，產(chǎn)生的噪點(diǎn)就越多，因?yàn)槊繋�曝光所需要的時(shí)間越來越少，與1/60s的快門相比，1/500s的快門使光到達(dá)傳感器的時(shí)間要少的多，想要解決問題，要么在景深上妥協(xié)，要么大幅增加落在被捕捉物體上的光照，但后者會(huì)引起演員的不適感。當(dāng)然這些只是一部分答案。

速度稍高一些的相機(jī)不是不能用，只是60fps的更實(shí)用，不會(huì)產(chǎn)生比實(shí)際需求量多出10倍的海量數(shù)據(jù)來。另外，他們并沒有使用面部掃描產(chǎn)生更多數(shù)據(jù)，而是采用了最近大火的機(jī)器學(xué)習(xí)。首先使用OLAT（One Light At a Time）數(shù)據(jù)集（之前稱其為4D反射場(chǎng)）在光線來源的每個(gè)方向創(chuàng)建一個(gè)面部訓(xùn)練數(shù)據(jù)集，將每個(gè)面部在兩種標(biāo)準(zhǔn)顏色梯度照明條件下的外觀添加到機(jī)器學(xué)習(xí)中。這是 Light stage使用的最標(biāo)準(zhǔn)的照明模式，先以一種顏色梯度照亮演員，接著是第二種顏色梯度，然后以螺旋狀從上到下旋轉(zhuǎn)燈光。

團(tuán)隊(duì)表示他們會(huì)用“在每個(gè)燈光方向兩個(gè)梯度是什么樣子的、角色在整個(gè)反射場(chǎng)是什么樣子的”來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，完成訓(xùn)練階段后向其發(fā)送一張新的僅帶有顏色梯度的面部圖像，并詢問這個(gè)OLAT是什么樣的，作為神經(jīng)網(wǎng)絡(luò)來說，輸出效果還是相當(dāng)不錯(cuò)的。這樣團(tuán)隊(duì)就可在單獨(dú)燈光條件下從HDR進(jìn)行基于圖像的照明，結(jié)果也非常合理。

 虛擬制作 

新的Light stage系統(tǒng)在虛擬制作中有著非常有趣的應(yīng)用，它可以測(cè)試演員在任何給定燈光條件下、在任何位置的表演，可像掃描布料那樣來評(píng)估衣著服飾，并如實(shí)復(fù)制其款式和顏色。

有一個(gè)必須要考慮到的因素就是，這些過程都是自動(dòng)生成的合成，并不包括像邊緣融合、燈光包裹、光暈等任何標(biāo)準(zhǔn)合成技術(shù)，也不包括任何和添加霧或深度提示的功能。

Solaris也可以在沒有人在場(chǎng)的情況下運(yùn)行，把人偶放到系統(tǒng)中心的座位上，團(tuán)隊(duì)遠(yuǎn)程打開系統(tǒng)進(jìn)行測(cè)試拍攝，結(jié)束之后將其關(guān)閉就可以了。

 未來方向 

未來肯定會(huì)有更多機(jī)會(huì)使用到Light Stage X4技術(shù)和機(jī)器學(xué)習(xí)，而在Light Stage X4中對(duì)全身進(jìn)行采樣時(shí)也可能會(huì)用到其他類似的技術(shù)。Google團(tuán)隊(duì)也在探索其他工程技術(shù)，當(dāng)然Relightables投射很實(shí)用，為輕量級(jí)資產(chǎn)生成可在移動(dòng)硬件上播放的圖像提供了可能。

??

研發(fā)團(tuán)隊(duì)成員表示，弄清楚如何重現(xiàn)一個(gè)與神經(jīng)相關(guān)的角色版本并在實(shí)際制作中使用是一件很有趣的工作，雖然機(jī)器學(xué)習(xí)的速度很慢，但在實(shí)際應(yīng)用時(shí)還是很快的，這種技術(shù)也會(huì)推廣到適用于Google的其他案例上并非不可能，但仍需不斷努力。