AR/VR沉浸感的實(shí)現(xiàn)除了視覺(jué)體驗(yàn)之外，容易被忽略的一點(diǎn)是音頻的呈現(xiàn)。近日雷鳥(niǎo)開(kāi)售的全新一代XR眼鏡——Air 1S著重提到了優(yōu)秀的音質(zhì)表現(xiàn)，在業(yè)內(nèi)首次搭載了超線(xiàn)性單元 0.5mm 沖程的揚(yáng)聲器，帶來(lái)更具空間感的立體音場(chǎng)，提升身臨其境感。
隨著我們?cè)跀?shù)字空間中花費(fèi)的時(shí)間越來(lái)越多，用戶(hù)希望在這些空間中獲得更多自然體驗(yàn)，而提供逼真的聲音至關(guān)重要。支持 VR 和 AR 的聲音一直是該行業(yè)面臨的挑戰(zhàn)。
來(lái)源：雷朋
我們通過(guò)感官感知物質(zhì)世界，而我們的感官不是靜止的。他們對(duì)我們所處的環(huán)境做出反應(yīng)，即使是以我們沒(méi)有意識(shí)到的方式。然而，我們確實(shí)在某種程度上注意到，當(dāng)虛擬環(huán)境的元素以人類(lèi)思維記錄的方式做出某種不自然的反應(yīng)時(shí)，即在支持 AR 或 VR 的環(huán)境中，用戶(hù)期望逼真并在沒(méi)有得到它注意時(shí)，我們得到了“恐怖谷”的感覺(jué)。在 VR 和 AR 中，我們需要構(gòu)建能夠更好地反映我們習(xí)慣的人與人和人與環(huán)境的聯(lián)系的體驗(yàn)。
在討論 AR 和 VR 的實(shí)際應(yīng)用時(shí)，經(jīng)常會(huì)出現(xiàn)音樂(lè)會(huì)和體育賽事等現(xiàn)場(chǎng)活動(dòng)。在這些環(huán)境中，聲音以其自然的動(dòng)態(tài)特性成為體驗(yàn)的核心元素。部分體驗(yàn)取決于用戶(hù)相對(duì)于聲源（舞臺(tái)、運(yùn)動(dòng)場(chǎng)、揚(yáng)聲器等）的位置。
除了娛樂(lè)之外，還有一些商業(yè)應(yīng)用需要探索。AR 和 VR 可以為競(jìng)技場(chǎng)活動(dòng)做些什么，它們也可以為會(huì)議做些什么。會(huì)議體驗(yàn)通常比網(wǎng)絡(luò)研討會(huì)更有吸引力和令人愉快是有原因的，從 3D、多房間空間獲得的動(dòng)態(tài)音頻就是這些原因之一。
行業(yè)領(lǐng)導(dǎo)者談到了 AR 和 VR 如何在試用產(chǎn)品時(shí)增強(qiáng)購(gòu)物體驗(yàn)。消費(fèi)者可能想聽(tīng)聽(tīng)它在不同距離或在藍(lán)牙揚(yáng)聲器可以派上用場(chǎng)的各種空間中的聲音。消費(fèi)者可能想知道它在沙灘上的聲音是否和在淋浴時(shí)聆聽(tīng)時(shí)一樣好。
隨著企業(yè)和創(chuàng)作者學(xué)習(xí)如何實(shí)現(xiàn)，逼真的音頻正在 VR 和 AR 中擴(kuò)展。AR/VR 技術(shù)通過(guò)引入兩個(gè)主要組件來(lái)工作：模擬身臨其境的聲音環(huán)境（即模擬耳朵在穿過(guò)真實(shí)的小房間、大廳、城市場(chǎng)景、荒野環(huán)境等時(shí)會(huì)聽(tīng)到的聲音），以及噪聲抑制和人聲提取。
空間音景旨在創(chuàng)造更引人入勝和身臨其境的體驗(yàn)。然而，今天在實(shí)施有效的空間音景方面存在技術(shù)挑戰(zhàn)。最重要的是延遲。
音頻延遲是音頻到達(dá)耳機(jī)所需的時(shí)間。在音頻和視頻通信同時(shí)交付給最終用戶(hù)的數(shù)字世界中，任何延遲都會(huì)導(dǎo)致諸如不同步等復(fù)雜情況。例如，在游戲中，爆炸或汽車(chē)引擎在與視覺(jué)效果不同步的彎道上傾斜，使游戲玩家脫離了沉浸式體驗(yàn)的意圖。就像在為工作協(xié)作而創(chuàng)建的數(shù)字虛擬環(huán)境中一樣，任何延遲都會(huì)破壞與同事之間預(yù)期的人與人之間的聯(lián)系。
克服這一挑戰(zhàn)需要使用位于個(gè)人互聯(lián)網(wǎng)之上的實(shí)時(shí)網(wǎng)絡(luò)，并且可以在全球范圍內(nèi)提供廣泛的覆蓋范圍。人工智能算法可以實(shí)時(shí)監(jiān)控這些網(wǎng)絡(luò)并自動(dòng)選擇最有效的路由路徑，提供 400 毫秒或更短的超低延遲。
身臨其境的音景是通過(guò)利用多種人工智能技術(shù)來(lái)解決背景噪音問(wèn)題而產(chǎn)生的。這項(xiàng)技術(shù)已經(jīng)被用于游戲、社交媒體和工作場(chǎng)所通信。降噪耳機(jī)可以幫助聽(tīng)眾調(diào)節(jié)接收端的音景，但人工智能驅(qū)動(dòng)的解決方案也可以消除音頻源端分散注意力的噪音?？傊?，這項(xiàng)技術(shù)可以通過(guò)消除兩端的影響來(lái)為用戶(hù)提供最先進(jìn)的體驗(yàn)，否則會(huì)使聲音體驗(yàn)看起來(lái)錯(cuò)位。
當(dāng)我們成功地讓音頻和視頻在虛擬環(huán)境中自然交互時(shí)，我們就可以向新的受眾開(kāi)放 AR/VR 市場(chǎng)。許多消費(fèi)者仍然對(duì)探索比表面更深的虛擬空間持謹(jǐn)慎態(tài)度。坦率地說(shuō)，很多人發(fā)現(xiàn)不太復(fù)雜的 AR/VR 體驗(yàn)帶來(lái)的“恐怖谷”效應(yīng)實(shí)在是不容忽視。人工智能正在引領(lǐng)創(chuàng)造者和企業(yè)走出那個(gè)山谷。
原文始發(fā)于微信公眾號(hào)（艾邦VR產(chǎn)業(yè)資訊）：聲音正在成為 AR/VR 沉浸感中越來(lái)越重要的組成部分
