解讀手勢識別，或許不是VR交互的萬(wàn)能工具

擺脫外設的VR體驗需要手勢識別作為基礎，那么手勢識別技術(shù)發(fā)展情況是如何呢？

現在主流的VR硬件設備，主要的輸入輸出設備還是類(lèi)似傳統游戲手柄的外設：Oculus在Touch沒(méi)發(fā)布之前，一直用的是微軟的Xbox的手柄；HTC和索尼都有自己研制開(kāi)發(fā)的控制器作為交互工具。

但是如果想要在VR中達到更加自然的交互和沉浸體驗，擺脫外設的手勢識別必然是未來(lái)發(fā)展的一個(gè)大方向。

手勢識別技術(shù)的發(fā)展

手勢識別技術(shù)的發(fā)展，可以粗略分為兩個(gè)階段：二維手勢識別以及三維手勢識別。

早期的手勢識別識別是基于二維彩色圖像的識別技術(shù)，所謂的二維彩色圖像是指通過(guò)普通攝像頭拍出場(chǎng)景后，得到二維的靜態(tài)圖像，然后再通過(guò)計算機圖形算法進(jìn)行圖像中內容的識別。二維的手型識別的只能識別出幾個(gè)靜態(tài)的手勢動(dòng)作，而且這些動(dòng)作必須要提前進(jìn)行預設好。

相比較二維手勢識別，三維手勢識別增加了一個(gè)Z軸的信息，它可以識別各種手型、手勢和動(dòng)作。三維手勢識別也是現在手勢識別發(fā)展的主要方向。不過(guò)這種包含一定深度信息的手勢識別，需要特別的硬件來(lái)實(shí)現。常見(jiàn)的有通過(guò)傳感器和光學(xué)攝像頭來(lái)完成。

根據硬件實(shí)現方式的不同，目前行業(yè)內所采用的手勢識別大約有三種：

結構光（Structure Light），通過(guò)激光的折射以及算法計算出物體的位置和深度信息，進(jìn)而復原整個(gè)三維空間。結構光的代表產(chǎn)品有微軟的Kinect一代。不過(guò)由于以來(lái)折射光的落點(diǎn)位移來(lái)計算位置，這種技術(shù)不能計算出精確的深度信息，對識別的距離也有嚴格的要求。

光飛時(shí)間（Time of Flight），加載一個(gè)發(fā)光元件，通過(guò)CMOS傳感器來(lái)捕捉計算光子的飛行時(shí)間，根據光子飛行時(shí)間推算出光子飛行的距離，也就得到了物體的深度信息。代表作品為Intel帶手勢識別功能的三維攝像頭。

多角成像（Multi-camera），現在手勢識別領(lǐng)域的佼佼者Leap Motion使用的就是這種技術(shù)。它使用兩個(gè)或者兩個(gè)以上的攝像頭同時(shí)采集圖像，通過(guò)比對這些不同攝像頭在同一時(shí)刻獲得的圖像的差別，使用算法來(lái)計算深度信息，從而多角三維成像。

手勢識別的關(guān)鍵技術(shù)

手勢識別中最關(guān)鍵的包括對手勢動(dòng)作的跟蹤以及后續的計算機數據處理。

關(guān)于手勢動(dòng)作捕捉主要是通過(guò)光學(xué)和傳感器兩種方式來(lái)實(shí)現,在此不再贅述原理。手勢識別推測的算法，包括模板匹配技術(shù)（二維手勢識別技術(shù)使用的）、通過(guò)統計樣本特征以及深度學(xué)習神經(jīng)網(wǎng)絡(luò )技術(shù)。
 

前兩種在早期的手勢識別技術(shù)中運用的比較多，而基于深度學(xué)習神經(jīng)網(wǎng)絡(luò )的手勢識別必然是未來(lái)手勢識別的趨勢。這種技術(shù)可以讓機器自己去提取特征，它不需要手工特征提取，強大的學(xué)習能力使得模型在復雜背景下也能取得理想效果。而且這種算法可以在一定范圍內允許運動(dòng)背景的存在，從而提高了識別的環(huán)境耐受力和精細度。

手勢識別的應用場(chǎng)景

首先就是游戲娛樂(lè )上的應用。以微軟的Kinect為例，它主要是搭配xbox游戲機來(lái)體驗一些趣味性強的游戲，比如，通過(guò)手勢的動(dòng)作來(lái)控制游戲中的角色做出不同的反應。在娛樂(lè )方面，手勢識別還可以應用在電視上。像三星、TCL等電視廠(chǎng)商都已經(jīng)推出了帶有手勢識別的電視機產(chǎn)品，可以直接用手勢來(lái)完成移動(dòng)控制、選擇確認、播放等功能。

其次還可以運用在汽車(chē)的智能駕駛上。在去年的亞洲CES展上，寶馬展出了最新iDrive系統，通過(guò)安裝在車(chē)頂上的3D傳感器對駕駛員手勢的識別，實(shí)現對車(chē)輛導航、信息娛樂(lè )系統的控制等。

不過(guò)，手勢識別作為人機交互重要的一環(huán)，正如開(kāi)篇所述，現在最火的應用場(chǎng)景其實(shí)是VR。目前像國外的Leap Motion，國內的凌感，都在把研究的重點(diǎn)放在VR的應用中。

手勢識別不是VR萬(wàn)能的交互方式

VR的最大特點(diǎn)就是沉浸感和交互性，擺脫外設的手勢識別可以加強體驗的沉浸感。在虛擬世界里，你可以完全像真實(shí)世界中一樣去使用你的雙手。

問(wèn)題是對于VR來(lái)說(shuō)，交互并不具備通用性和唯一性的特點(diǎn)。舉個(gè)例子，如果是一些簡(jiǎn)單的拾取類(lèi)的操作，手勢識別是非常自然的交互方式。但如果是那種需要使用各式各樣武器工具的重型的VR游戲體驗，手上空無(wú)一物的話(huà)，沉浸感和真實(shí)性就要大打折扣了。從這個(gè)角度來(lái)看，手勢識別并不是VR萬(wàn)能的交互方式。

但是隨著(zhù)VR硬件技術(shù)的不斷發(fā)展成熟，以及內容開(kāi)發(fā)上的擴展，未來(lái)或許會(huì )出現多種技術(shù)結合的新的交互方式，而手勢識別一定是其中不可或缺的一環(huán)。

結語(yǔ)：

有了手勢識別，VR體驗的沉浸感和交互性會(huì )大大增強是毋庸置疑的，不過(guò)從目前的硬件發(fā)展來(lái)看，手勢識別想要成為VR中最自然的交互方式，還需要等待動(dòng)作追蹤和深度學(xué)習算法的深入研究，而且可能還需要與其它交互方式相結合。不過(guò)可以預見(jiàn)的是手勢識別技術(shù)在未來(lái)一定會(huì )成為我們生活中常見(jiàn)的交互方式，如果再加上語(yǔ)音識別、眼球追蹤等等技術(shù)，未來(lái)我們完全可以做到像好萊塢科幻電影中那樣，揮揮手，動(dòng)動(dòng)口完成各種交互。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！