微軟亞洲研究院SIGGRAPH Asia 2014精彩入選論文賞析

Dynamic Hair Camptureusing Spacetime Optimization

動(dòng)作大片中常常會(huì)出現(xiàn)這樣一個(gè)場(chǎng)景，長(zhǎng)發(fā)飄飄的女神從高樓或飛機(jī)上墜落，這時(shí)候超級(jí)英雄就會(huì)突然出現(xiàn)在半空中英雄救美。如此刺激而唯美的畫(huà)面難道真要好萊塢的大牌們親自冒險(xiǎn)拍攝嗎？墜落過(guò)程中女神那一頭飄逸的秀發(fā)又是怎么形成的呢？第一篇論文所研究的項(xiàng)目正是與此相關(guān)的。

該技術(shù)主要內(nèi)容可簡(jiǎn)單概括成頭發(fā)動(dòng)態(tài)運(yùn)動(dòng)的捕捉和三維重建。根據(jù)項(xiàng)目負(fù)責(zé)人之一、微軟亞洲研究院研究員王律迪的介紹，具體來(lái)說(shuō)，即通過(guò)從不同角度拍攝頭發(fā)在真實(shí)場(chǎng)景中的運(yùn)動(dòng)視頻，在計(jì)算機(jī)中重建發(fā)絲級(jí)別的動(dòng)態(tài)三維頭發(fā)模型。

對(duì)于運(yùn)動(dòng)中的頭發(fā)的三維模型重建是極其具有挑戰(zhàn)性的。人的頭發(fā)由超過(guò)10萬(wàn)根纖細(xì)的發(fā)絲組成，這些發(fā)絲相互遮擋，大部分從外部根本不可見(jiàn)。而在運(yùn)動(dòng)中由碰撞、摩擦等引起的發(fā)絲間的相互作用更是錯(cuò)綜復(fù)雜。

之前一些類似的研究簡(jiǎn)單地將靜態(tài)頭發(fā)重建的方法推廣到動(dòng)態(tài)，因?yàn)闆](méi)有充分利用時(shí)間上的信息，重建的結(jié)果一直都不盡如人意。整個(gè)項(xiàng)目的研究過(guò)程長(zhǎng)達(dá)一年多，中途嘗試過(guò)不少方法，卻沒(méi)有任何突破的結(jié)果，因?yàn)樗�拍頭發(fā)運(yùn)動(dòng)視頻的幀與幀之間，很難對(duì)每根頭發(fā)進(jìn)行準(zhǔn)確地跟蹤。但是最終，王律迪和他的同事們想出了解決辦法。他們將頭發(fā)運(yùn)動(dòng)視頻看作由每幀畫(huà)面重疊而成的立方體，發(fā)現(xiàn)在這個(gè)立方體的水平（或豎直）切面上，發(fā)絲的運(yùn)動(dòng)會(huì)留下清晰的軌跡。這些軌跡可以通過(guò)特殊的圖像算法自動(dòng)抽取，結(jié)合不同拍攝角度的視頻，使得對(duì)頭發(fā)運(yùn)動(dòng)的捕捉更準(zhǔn)確，更穩(wěn)定。

對(duì)于這項(xiàng)技術(shù)的應(yīng)用場(chǎng)景，王律迪表示，頭發(fā)的運(yùn)動(dòng)捕捉和動(dòng)態(tài)三維模型重建將會(huì)是未來(lái)高質(zhì)量全人體（full-body）動(dòng)態(tài)重建不可缺少的部分。在電影制作中，根據(jù)演員重建的高質(zhì)量模型使得后期可以隨意改變角色所處的場(chǎng)景，光照，甚至拍攝角度。此外，我們方法生成的動(dòng)態(tài)三位頭發(fā)模型不僅外觀和運(yùn)動(dòng)與原始視頻相符，每根發(fā)絲還具有相當(dāng)程度的真實(shí)物理特性，如發(fā)根固定在頭皮上，長(zhǎng)度保持不變等。這使得后期有可能對(duì)頭發(fā)的樣式和運(yùn)動(dòng)做進(jìn)一步的編輯（將直發(fā)變?yōu)榫戆l(fā)，使運(yùn)動(dòng)更平滑等等）。最后，這些根據(jù)真實(shí)頭發(fā)重建的數(shù)據(jù)可以幫助研究人員進(jìn)一步學(xué)習(xí)和了解頭發(fā)的運(yùn)動(dòng)，甚至用于開(kāi)發(fā)數(shù)據(jù)驅(qū)動(dòng)的頭發(fā)運(yùn)動(dòng)模擬算法。

Fast Burst Images Denoising

現(xiàn)如今幾乎所有的最新型手機(jī)都增加了連拍照相功能，讓用戶可以捕捉每一個(gè)精彩瞬間。這項(xiàng)功能同時(shí)也能為低光照下拍攝高質(zhì)量照片提供可能。由于光線較暗的時(shí)候，照片往往不是出現(xiàn)噪點(diǎn)，就是出現(xiàn)模糊，不易拍攝出高質(zhì)量的照片。

這篇論文主要研究的問(wèn)題是如何利用手機(jī)或相機(jī)的連拍方式，去除照片中出現(xiàn)的噪點(diǎn)和模糊，以對(duì)照片質(zhì)量進(jìn)行優(yōu)化。項(xiàng)目的負(fù)責(zé)人之一，微軟亞洲研究院研究員袁路介紹了相關(guān)的技術(shù)原理，項(xiàng)目研究過(guò)程以及研究亮點(diǎn)。

原來(lái)的大部分去噪點(diǎn)研究中，所利用的都是一張圖片，那么考慮空間上的相似關(guān)系，可利用的所有信息也只能來(lái)自于那一張?zhí)囟ǖ膱D片。當(dāng)信噪比相對(duì)較低的時(shí)候，系統(tǒng)根本無(wú)法區(qū)分噪聲和原有的圖像信號(hào)。但是如今運(yùn)用多張圖片就可以很容易解決這個(gè)問(wèn)題。由于連拍的圖片在時(shí)間域上有很強(qiáng)的相關(guān)性，即使在信號(hào)弱的時(shí)候，讓圖片之間彼此空間對(duì)齊后，在時(shí)間軸上相加，噪點(diǎn)的分布便可以變成零均值，從而達(dá)到去除噪聲的目的。然而，之前已有研究對(duì)“多張圖多張出” 和“多張圖一張出”都有涉足，但是一直無(wú)法找出一種方法，能快速實(shí)現(xiàn)圖片去噪點(diǎn)同時(shí)保證高質(zhì)量輸出的優(yōu)化目標(biāo)。另外，在連拍過(guò)程中，往往會(huì)因?yàn)槭值亩秳?dòng)或者是拍攝目標(biāo)的運(yùn)動(dòng)而導(dǎo)致每張照片的內(nèi)容并不是對(duì)齊的，這也給去噪的目標(biāo)帶來(lái)相當(dāng)大的難度。

之前的運(yùn)動(dòng)估計(jì)通常依靠光流（逐點(diǎn)運(yùn)功估計(jì)）或者塊匹配（常用于視頻壓縮的運(yùn)動(dòng)估計(jì)）的方式。然而它們的計(jì)算非常耗時(shí)，并且結(jié)果容易受到噪聲的影響。袁路所在的研究組對(duì)相機(jī)運(yùn)動(dòng)和被拍攝物體運(yùn)動(dòng)進(jìn)行了拆分計(jì)算。首先，他們將相機(jī)的運(yùn)動(dòng)參數(shù)化，建立出一個(gè)參數(shù)模型，從而能非�？斓墓烙�(jì)出具體運(yùn)動(dòng)的相關(guān)參數(shù)。而針對(duì)場(chǎng)景中的物體運(yùn)動(dòng)，他們則對(duì)每一幀的具體運(yùn)動(dòng)進(jìn)行了分析，針對(duì)運(yùn)動(dòng)的快慢，算法都能相應(yīng)地估計(jì)出運(yùn)動(dòng)物體的精確輪廓。在每個(gè)像素時(shí)間軸上相加平均的時(shí)候，那些位于運(yùn)動(dòng)物體輪廓區(qū)域的像素都會(huì)被排除掉。通過(guò)這種簡(jiǎn)單的方式，他們能有效的解決圖片每個(gè)像素對(duì)齊的問(wèn)題。除此之外，他們進(jìn)一步考慮空間上信息相關(guān)性，建立了一個(gè)多尺度“金字塔”結(jié)構(gòu)，根據(jù)圖像結(jié)構(gòu)（例如，平滑區(qū)域和邊緣）的分析，自適應(yīng)的選擇相應(yīng)的平滑策略，從而達(dá)到進(jìn)一步去除殘留噪聲的目的。最終，他們的算法將時(shí)間軸和空間軸結(jié)合在一起，在校正了每一幀的運(yùn)動(dòng)之后，得到的便是一幅清晰的圖像。

該研究相對(duì)于之前許多類似研究來(lái)說(shuō)，在時(shí)間和質(zhì)量上都有了很大的提高。與之前的研究相比，袁路和其他的同事研究的項(xiàng)目在保證畫(huà)面高質(zhì)量的同時(shí)，在速度上比之前提高了100至1000倍，即在電腦上處理10張5MB的圖片少于1秒種。

另外，該項(xiàng)目的技術(shù)已經(jīng)在Windows Phone的Blink應(yīng)用上得到了運(yùn)用。

Appearance-from-Motion: Recovering Spatially Varying Surface Reflectance under Unknown Lighting

如果在游戲中駕駛著法拉利最高配置賽車在賽道上飛馳，是不是很酷炫呢？目前大部分游戲中的道具都是藝術(shù)家繪制出來(lái)的，雖然有很高的仿真度，但是并非真實(shí)的畫(huà)面。若能將游戲中駕駛的賽車變成與現(xiàn)實(shí)中的原型一模一樣，那么游戲體驗(yàn)必定會(huì)增加不算少。而在這篇論文的項(xiàng)目所研究的正是這個(gè)問(wèn)題。

該項(xiàng)目的主要內(nèi)容是在已知物體幾何形狀的情況下，通過(guò)對(duì)物體在自然光照下運(yùn)動(dòng)的采集，讓計(jì)算機(jī)對(duì)識(shí)別出其材質(zhì)屬性參數(shù)，進(jìn)而在任意光照下重建出該物體。該項(xiàng)目負(fù)責(zé)人之一，微軟亞洲研究院研究員董悅對(duì)他的這個(gè)項(xiàng)目進(jìn)行了進(jìn)一步的解讀。

重建的過(guò)程主要可以分成采集和渲染兩部分。采集主要指對(duì)實(shí)物在單一光照下（實(shí)驗(yàn)室燈光或單一固定自然光照）運(yùn)動(dòng)中對(duì)光反射的采集，一般會(huì)用相機(jī)進(jìn)行照片和視頻的拍攝。渲染則指代采集過(guò)后在計(jì)算機(jī)上進(jìn)行模型繪制的過(guò)程。由于材質(zhì)不同，物體對(duì)光會(huì)呈現(xiàn)不一樣的反射表現(xiàn)。比如塑料、金屬和鏡面，因?yàn)椴馁|(zhì)導(dǎo)致光滑程度不一樣，在同樣情況的光照下，塑料對(duì)光的反射是最模糊的，而鏡面由于表面十分光滑，對(duì)光照的反射是最強(qiáng)烈的，金屬則居中。根據(jù)物體上的每一點(diǎn)對(duì)光照的反射情況，可以計(jì)算出其材質(zhì)屬性（得出該點(diǎn)的材質(zhì)屬性公式）。在得到物體材質(zhì)屬性之后，我們就可以得到在任意光源之下的反射效果。

和過(guò)去的研究相比，這個(gè)項(xiàng)目體現(xiàn)出了明顯的先進(jìn)性。過(guò)去，如果制作出一個(gè)物體在不同光照下的模型，研究者們可能需要在不同光照對(duì)物體運(yùn)動(dòng)進(jìn)行捕捉，整個(gè)采集過(guò)程十分繁瑣。而如今董悅的研究實(shí)現(xiàn)了在未知的自然光照條件下一次采集便可完成對(duì)多種光照下不同材質(zhì)光反射的虛擬還原。

董悅在談及該技術(shù)未來(lái)的運(yùn)用方向時(shí)提出，它將主要被運(yùn)用在電影和游戲中，將場(chǎng)景中的物體變得更為真實(shí)自然，例如游戲中玩家駕駛的汽車。這樣可以解決一些如今主要靠藝術(shù)家去畫(huà)而存在的局限，也可以讓游戲和電影更讓人有身臨其境的感覺(jué)。

入選SIGGRAPH Asia的其他四篇論文

VFXinfo獨(dú)家整理的一些相關(guān)資料