隨著VR行業(yè)技術(shù)升級，更自然的交互方式也隨之而來，自然手勢識別追蹤技術(shù)憑借更符合人真實(shí)操作習(xí)慣受到To B和To C的關(guān)注。而手勢識別技術(shù)的升級也能方便打通上下游關(guān)系，加大內(nèi)容開發(fā)者創(chuàng)作空間，增加游戲趣味性使其交互方式得到更大提升。
由趣立科技研發(fā)的6DoF一體機(jī)解決方案“騏驥”中已經(jīng)搭載最新的自然手勢識別系統(tǒng)，合作方可在系統(tǒng)中直接去調(diào)用此模塊最終完成自然手勢的識別任務(wù)。影創(chuàng)科技也成為國內(nèi)VR行業(yè)首家擁有自然手勢識別產(chǎn)品化方案的公司，而全球目前也僅有Quest擁有該項(xiàng)技術(shù)。
?
騏驥設(shè)備下的自然手勢玩音游
【自然手勢識別】是基于計(jì)算機(jī)視覺和人工智能算法，對攝像機(jī)采集到的圖像中用戶手部區(qū)域進(jìn)行檢測和對其姿態(tài)進(jìn)行估計(jì)，從而得到全自由度自然手勢跟蹤的技術(shù)。通俗地可對其拆分為3個步驟：第一、要解決手在什么位置；第二、解決手是何種姿態(tài)；第三、識別手在做什么？前面兩項(xiàng)很多時(shí)候是放在一起做姿態(tài)預(yù)估，最后對動、靜態(tài)手勢做時(shí)間序列劃分，并完成最終的指令實(shí)現(xiàn)。
從硬件來說，目前市面上常見的手勢識別方案中所采用的檢測設(shè)備大致分為四類：純紅外攝像機(jī)、灰度攝像機(jī)、RGB攝像機(jī)及深度攝像機(jī)。
各方案都有比較明顯的優(yōu)劣勢。比如深度攝像機(jī)雖然可以根據(jù)深度信息較其他方法更簡單地獲取手部區(qū)域的位置和形狀，但FOV很小、幀率很低、成本高、功耗較大，而且目前VR一體機(jī)的現(xiàn)狀，手勢識別與SLAM的攝像頭需要做復(fù)用，深度攝像頭很難拿來做SLAM算法，所以目前在XR的領(lǐng)域應(yīng)用場景中會有局限性。
紅外攝像機(jī)的原理是將模塊內(nèi)置紅外LED光源，光線反射回手勢識別模塊的紅外攝像頭中，實(shí)現(xiàn)基于光學(xué)數(shù)據(jù)的手勢識別。由于使用主動光源，所以它的環(huán)境適應(yīng)性好，也比較容易能檢測到手部區(qū)域，但是它同時(shí)會加大功耗，尤其是伴隨對手部使用范圍的增大，需要更多數(shù)量和更大功耗的紅外光，這對整體的ID設(shè)計(jì)以及成本都是非常大的挑戰(zhàn)。此方案比較知名的則是Leap Motion。
針對灰度相機(jī)與RGB相機(jī)的方案，RGB相機(jī)由于能更好地將手和環(huán)境用顏色進(jìn)行區(qū)分所以具備較好的識別作用，但同樣也有FOV較小、幀率較低的問題。而灰度相機(jī)優(yōu)勢是FOV比較大、幀率高、覆蓋范圍大、適應(yīng)性強(qiáng)、且成本相對可控，缺點(diǎn)則是難度系數(shù)較高，因?yàn)樵诤诎谆业氖澜缰?，要將手和?fù)雜的環(huán)境背景準(zhǔn)確快速得剝離開，需要在算法方面下足功夫。
而6DoF解決方案“騏驥”融合的則是根據(jù)現(xiàn)有一體機(jī)的灰度攝像頭進(jìn)行復(fù)用的方式。
騏驥設(shè)備的自然手勢識別操作
此項(xiàng)手勢識別技術(shù)算法經(jīng)多期打磨調(diào)整，目前已達(dá)到通用狀態(tài)，算法框架可適用于任何攝像機(jī)設(shè)備中，在未來產(chǎn)品中，新一代的VR一體機(jī)解決方案可能采用彩色RGB攝像機(jī)和灰度攝像機(jī)的搭配（彩色負(fù)責(zé)透視、灰度負(fù)責(zé)6DoF追蹤）。而自然手勢識別本質(zhì)依舊會采用基于6DoF的灰度攝像頭為主，彩色攝像頭作為輔助在識別過程中對手在與環(huán)境剝離時(shí)的精度進(jìn)行補(bǔ)充。
整個手勢識別技術(shù)比較難的是，手與面部、人體的識別不同，因?yàn)槭植繌?fù)雜度相對比較高、自遮擋嚴(yán)重，手部可以非?？斓匾苿硬⑶彝庥^可以在幾幀內(nèi)大幅變化。而目前“騏驥”解決方案中能做到準(zhǔn)確性高、低延遲，是因?yàn)橐揽坑皠?chuàng)自研的數(shù)據(jù)深層采集和標(biāo)注平臺?；谄脚_有非常多的參考數(shù)據(jù)，同時(shí)在深度模型的序列方面有自研成果，并沉淀了6年多的技術(shù)積累及龐大的數(shù)據(jù)參考值。
手勢識別技術(shù)的發(fā)展能夠更好地拓寬內(nèi)容開發(fā)者的想象空間，在內(nèi)容創(chuàng)作時(shí)增加多重玩法及交互體驗(yàn)，比如在玩音游的時(shí)候可以直接用手來操作，或是在RPG游戲中一個特定手勢就可以實(shí)現(xiàn)魔法攻擊，甚至在未來一組手勢也能夠完成“火影忍者”里的結(jié)印。
B端的應(yīng)用場景則更廣泛。在智能辦公方面，隨著VR設(shè)備逐漸向辦公工具靠攏，自然手勢識別能更好地通過特定的放大縮小拖拽等手勢，完成匯報(bào)方案演講的展示，實(shí)現(xiàn)真正意義上的便攜式辦公環(huán)境。而教育教學(xué)中，也可更好地直接用手部識別技術(shù)完成教學(xué)課件的拆裝、組合等要求，更便捷有效地完成操作互動。相信未來隨著自然手勢識別的更進(jìn)一步發(fā)展，定能催生更多的應(yīng)用場景，同時(shí)還可以根據(jù)不同需求，量身定制專屬的解決方案。
文章來源：影創(chuàng)科技
?
原文始發(fā)于微信公眾號（艾邦VR產(chǎn)業(yè)資訊）：國內(nèi)首款VR自然手勢識別一體機(jī)方案
