與 EPIC GAMES 相聚在 GMGC 2016

在 2015 年，雷克薩斯實(shí)現(xiàn)了世人在 回到未來(lái) 中的夢(mèng)想，制作了現(xiàn)實(shí)世界中的懸浮滑板，并在后來(lái)通過(guò)一段視頻分享了一些體驗(yàn)，視頻中職業(yè)滑板玩家 Ross McGouran 在一個(gè)訂制的滑板公園中測(cè)試了雷克薩斯滑板。接下來(lái)準(zhǔn)備在 The Mill 的團(tuán)隊(duì)的幫助以及 Epic Games 的虛幻引擎 4 的支持下將這種體驗(yàn)帶給更多人。

無(wú)論是在開(kāi)發(fā) Mill Stitch，首個(gè) VR-review 的制作工具，還是為實(shí)時(shí)的在一個(gè)房間大小內(nèi)使用 Vivi 創(chuàng)建原型，我們一直都在實(shí)踐技術(shù)帶來(lái)的變革并探尋新的方式來(lái)描繪故事。

在面臨重建 2015 年洛杉磯汽車(chē)展上的雷克薩斯滑板的使用體驗(yàn)時(shí)，我們用來(lái)雷克薩斯“用滑板前行”作為回復(fù)，可以在一個(gè)房間內(nèi)前行，采用實(shí)時(shí)的游戲體驗(yàn)，以及一個(gè)和 Spinifex Group U.S 合作開(kāi)發(fā)的壓力感應(yīng)控制器。

體驗(yàn)

這是一個(gè)被顯示屏環(huán)繞的該海濱滑板公園模擬，將用戶(hù)放置于視覺(jué)和聽(tīng)覺(jué)都是動(dòng)態(tài)的環(huán)境中，從一個(gè)四分之一的管道開(kāi)始，在雷克薩斯滑板公園中滑行。這個(gè)公園復(fù)制了早先時(shí)候雷克薩斯在巴塞羅那建造的那個(gè)真實(shí)的滑板公園的樣子。

用戶(hù)起始時(shí)占在一個(gè)壓力感應(yīng)控制器上，該控制器會(huì)監(jiān)測(cè)用戶(hù)的體重分布。用戶(hù)可以通過(guò)前傾，后傾以及向兩側(cè)傾向來(lái)改變速度和方向。

這個(gè)超級(jí)真實(shí)的滑板公園和周邊環(huán)境由 Epic Games 的虛幻引擎 4 制作，并訂制了軟件來(lái)同步模擬環(huán)境的 18 個(gè)高清屏幕的顯示，以及有 Apollo 工作室實(shí)現(xiàn)的基于事件的具有空間信息的音效也整合在虛幻引擎中。

分布式渲染

為了將虛幻 4 渲染在 18 個(gè)屏幕上顯示，我們必須要在短時(shí)間內(nèi)解決一些技術(shù)問(wèn)題，其中包括周邊硬件以及虛擬攝像機(jī)的配置，網(wǎng)絡(luò)的配合以及各幀的狀態(tài)同步。雖然這具有挑戰(zhàn)性，但這類(lèi)問(wèn)題正是我們喜歡解決的問(wèn)題。

硬件

解決分布式渲染的第一步總是先看能否被整體避免。在這個(gè)案例中，我們需要大量的像素（9270x3840）并且沒(méi)用 SLI 的支持，因此顯然我們無(wú)法在一臺(tái)機(jī)器上完成，因此我們選用了一套系統(tǒng)，包括一個(gè)服務(wù)器以及六個(gè)客戶(hù)渲染端，并在一個(gè)封閉網(wǎng)絡(luò)內(nèi)工作。

虛擬攝像機(jī)

每臺(tái)機(jī)器將渲染一面墻的上半部或者下半部的一部分（有 NVIDIA 驅(qū)動(dòng)的 3 個(gè)并排的豎直顯示器）。為了無(wú)縫的在各個(gè)顯示屏上顯示畫(huà)面，需要根據(jù)顯示器的布局放置一個(gè)虛擬攝像機(jī)在玩家角色的位置。為了做到這一點(diǎn)，我們直接在虛幻引擎 4 的攝像機(jī)組件類(lèi)中實(shí)現(xiàn)了一套非對(duì)稱(chēng)視錐（透鏡偏移）。每個(gè)客戶(hù)端渲染實(shí)例只需直接加載一套對(duì)應(yīng)該視口的 json 的設(shè)置并應(yīng)用于它的攝像機(jī)配置。

更重要的是，需要保證穩(wěn)定的 60 幀的畫(huà)面，低于 60 幀的感受將會(huì)非常不舒適，尤其是考慮到攝像機(jī)動(dòng)態(tài)下的情形。在 NVIDIA 的 GTX 980ti 的加持下，大約 80% 的分辨率以及一些畫(huà)質(zhì)設(shè)置的調(diào)整下，我們做到了穩(wěn)定的幀數(shù)渲染效果。我們卻是不得不最小化屏幕空間的后處理特效，因?yàn)檫@部分會(huì)導(dǎo)致不同渲染端的顯示差異。

網(wǎng)絡(luò)

我們決定對(duì)于系統(tǒng)間共享的狀態(tài)要盡可能的少，因此我們以來(lái) UDP 協(xié)議以及交換機(jī)的性能考保持“同步”。當(dāng)用戶(hù)在滑板公園中移動(dòng)時(shí)，我們將用戶(hù)的視點(diǎn)位置和方向在網(wǎng)絡(luò)中做簡(jiǎn)單的廣播，以及一些額外的時(shí)間信息，來(lái)保持各個(gè)渲染端的 Matinee 過(guò)程同步。

走這條路是為了避免 TCP 的過(guò)度開(kāi)銷(xiāo)導(dǎo)致的鎖幀問(wèn)題，畢竟要對(duì)虛幻引擎中 GPU/CPU 的同步點(diǎn)做進(jìn)一步改進(jìn)很有可能會(huì)超出這個(gè)項(xiàng)目的范圍。我們是通過(guò)一些列的 UDP 延遲和鎖幀的測(cè)試才做了這個(gè)決定。其中我們做的一個(gè)測(cè)試是在網(wǎng)絡(luò)上進(jìn)行 ping pong 檢測(cè)來(lái)測(cè)試 UDP 的可靠性和速度，其結(jié)果是我們能做到在幾個(gè)小時(shí)的耐力測(cè)試下，ping pong 的一次來(lái)回只需要半毫秒，UDP 的丟包數(shù)量為 0。對(duì)這個(gè)結(jié)果我們也很滿(mǎn)意，因此就決定采用這個(gè)方式做下去。

作為聰明的實(shí)現(xiàn)方式，我們對(duì)虛幻引擎做了 Asio C++ 庫(kù)，以及新的 Cinder OSC 封裝的整合。我們實(shí)現(xiàn)了一個(gè) FRunnable 對(duì)象，該對(duì)象由 asio::io_service 運(yùn)行，并且可以選擇預(yù)設(shè)置的配置來(lái)作為服務(wù)端運(yùn)行還是作為渲染客戶(hù)端。Asio 最終也需要處理其他安裝交互層。比如我們要和 Cinder 的應(yīng)用程序交互，該程序從 Wii 的平衡板中獲取用戶(hù)的輸入控制數(shù)據(jù)，并將這些信息發(fā)送給虛幻引擎來(lái)控制速度和移動(dòng)的體驗(yàn)。該程序也同時(shí)監(jiān)聽(tīng)虛幻引擎反饋的信息，并將這部分信息用于控制一個(gè) DMX 風(fēng)扇作為 AR 的元素來(lái)增加用戶(hù)體驗(yàn)。

創(chuàng)建素材

這次為雷卡薩斯滑板制作素材和我們通常的 VFX 制作流程稍有不同。為了在虛幻引擎的 Lightmass 的光照烘培下完美工作，創(chuàng)建素材時(shí)有一些小地方需要注意。每個(gè)素材需要一組 UV 展開(kāi)用于標(biāo)準(zhǔn)的 Diffuse，Normal 和 Specular 貼圖，除此以外還需要另一組 UV 展開(kāi)用于優(yōu)化并改善光照貼圖的質(zhì)量。

實(shí)時(shí)的社交分享

該項(xiàng)目還需要一個(gè)能夠獲取用戶(hù)體驗(yàn)的視頻并完成社交分享功能的需求，為了這個(gè)體驗(yàn)我們?cè)O(shè)置了一套多攝像機(jī)系統(tǒng)，能夠保存一段 15 秒的視頻并在社交媒體上分享雷克薩斯“用滑板前行”的體驗(yàn)。

該虛幻應(yīng)用和一個(gè) TouchDesigner 應(yīng)用連接，用于創(chuàng)建自定義視頻捕獲，能同時(shí)和虛幻以及 iOS 設(shè)備交互來(lái)作用用戶(hù)隊(duì)列和體驗(yàn)的開(kāi)始，同時(shí)還能處理實(shí)施的色彩修正和編輯。

最終效果

Mill 團(tuán)隊(duì)最終提供了解決方案，跨 18 臺(tái)顯示器完成了虛幻引擎 4 的渲染顯示，得到了無(wú)縫的使用體驗(yàn)，并達(dá)到沉浸式體驗(yàn)的高質(zhì)量需要。在 12 天的時(shí)間內(nèi)，通過(guò)過(guò)“用滑板前行”項(xiàng)目，4,000 個(gè)滑板玩家體驗(yàn)了雷克薩斯的滑板公園。

我們會(huì)繼續(xù)拓展關(guān)于幀同步方面的更好的方法，包括直接在虛幻引擎內(nèi)部的同步點(diǎn)上優(yōu)化工作，機(jī)器的時(shí)鐘同步以及使用 libpcap 讀取網(wǎng)絡(luò)包的精確時(shí)間標(biāo)記。同時(shí)我們也在尋找虛幻引擎的技術(shù)美術(shù)來(lái)加入我們團(tuán)隊(duì)！