通過(guò)虛幻引擎 4 的 INTEL REALSENSE 插件，以新的方式觀察世界

Intel 一直都對(duì)引入創(chuàng)新的工具和科技感興趣，這些工具能夠?yàn)槭澜缟蠠崆榈膬?nèi)容開發(fā)者增加能量。如果你還不甚了解，Intel RealSense camera 在普通的 RGB 照片和視頻技術(shù)上，采用紅外光線來(lái)計(jì)算深度。為了幫助開發(fā)這個(gè)技術(shù)的應(yīng)用程序，Intel 創(chuàng)建了 RealSense SDK，一個(gè)用來(lái)做可視化算法的庫(kù)，包括面部識(shí)別，圖片碎片化，以及 3D 掃描。

由于看到了這個(gè)技術(shù)在游戲中的潛在應(yīng)用，我們現(xiàn)在來(lái)為大家介紹 RealSense 插件，這是 Intel 的游戲工程師們合作的產(chǎn)物，將 RealSense SDK 中的各種特性提供出來(lái)以便在虛幻 4 的藍(lán)圖可視化腳本系統(tǒng)中使用。

這里可以查看插件的源代碼和示例項(xiàng)目。

插件概述

這個(gè)插件是一組 Actor 組件的形式存在，每個(gè)組件封裝了 RealSense SDK 中的一些特定的功能。通過(guò)使用這些相對(duì)輕量的組件，可以為游戲中幾乎每種 Actor 添加 3D 的感應(yīng)能力，并且訪問(wèn)這些數(shù)據(jù)也很簡(jiǎn)單，只需要對(duì)同一個(gè)組件在初始化一個(gè)實(shí)例即可。

插件組建

目前，插件有三個(gè) RealSense 組件：

1. Camera Streams 組件： 提供 RealSense 攝像頭的原始顏色和深度的視頻流。
2. 3D 掃描組件： 支持真實(shí)世界的物體掃描，以及人臉掃描（如上圖）。
3. 頭部跟蹤組件（預(yù)覽）： 支持對(duì)用戶頭部的位置和角度的檢測(cè)和跟蹤。

接著很快就會(huì)更新，可以期待該插件即將到來(lái)的更多組建：

1. 頭部跟蹤組件（完整版）： 用于檢測(cè)和跟蹤高達(dá) 76 面部標(biāo)志點(diǎn)，脈搏速率，和面部表情附加功能。
2. 背景碎片組件： 將圖片的前景和背景分離開，為實(shí)時(shí)視頻創(chuàng)建“綠幕”的效果（如上圖）。
3. 場(chǎng)景掃描組件： 對(duì)大場(chǎng)景（約 2m x 2m 的區(qū)域）生成 3D 模型來(lái)協(xié)助創(chuàng)建用戶生成的內(nèi)容并加強(qiáng)現(xiàn)實(shí)世界的體驗(yàn)（如下圖）。
4. 手部跟蹤組件： 檢測(cè)并跟蹤 22 個(gè)手部標(biāo)志點(diǎn)，識(shí)別 14 種手勢(shì)，或者跟蹤一個(gè)點(diǎn)來(lái)作為鼠標(biāo)類型的交互響應(yīng)。
5. 語(yǔ)音識(shí)別組建： 將輸入語(yǔ)音轉(zhuǎn)換為文本來(lái)翻譯，或者用于檢測(cè)關(guān)鍵字來(lái)作為語(yǔ)音控制功能輸入。

對(duì)于這個(gè)插件的更多細(xì)節(jié)功能和架構(gòu)，以及一些教學(xué)視頻來(lái)幫助更快的上手，請(qǐng)查看這篇文章。