VR的未来,少不了“听声辨位”技术
听声辩位,并非金庸武侠里才有的绝世武功,而是人们理解环境并作出合适反映的基本技能。为了提供更真实的虚拟体验,人们很早便把声源定位技术用于游戏,比如早前的《ob电竞》,以及如今的《ob电竞》(即大家说的“吃鸡”游戏)。
虚拟现实亦同理,要让大家有身临其境的体验,有一半的工作得由“空间音频”来完成。
大脑是如何“定位”声源位置的
我们的大脑处理声音和视觉输入的方法完全不同,这给VR带来了挑战。
当我们用眼睛看东西时,视网膜的受体细胞识别光线照射下的物体。这些信息传递到大脑,被用来判断物体位置。在VR中,我们可以利用这个原理欺骗我们的大脑,达到仿真的效果,但音频是另一回事。
大脑要根据双耳时间差、双耳声级差等各种复杂因素计算出声音位置,不同方向的声音与我们的身体进行交互。
除此之外,距离定位是另一个问题,判断距离需要计算响度、混响、声音到达耳朵的时间差等。
所有这些因素(包括其他因素)都会影响到VR音频技术的发展。因此,为了提供更逼真的自然音频,我们需要使用专门的录音系统和算法。
三维捕获音频
音频公司一直试图重新创造定位方法,更好模拟现实世界中的音频。最有效的方法之一已经在VR中得以应用,称为“双耳音频”或3D音频。
双耳音频已经存在了几个世纪,但耳机和手持音频设备的兴起,使它重新出现在人们视线中。
但虚拟现实并不是双耳音频唯一的应用。在YouTube上,有大量双耳音频剪辑,用于放松、学习、娱乐以及其他用途。效果是显著的:例如,在下面的“3D理发”视频中,你可以听到身后或头顶的修剪声。(请戴耳机体验)
但尽管有种种优势,光是双耳音频也并非虚拟现实的理想音频技术。在一个VR环境创建最有效的声音,声音需要随着用户的定位变化而变化。
重视头部运动
耳机是提供 VR音频的最佳选择,因为可以隔离外部的声音。与此相反,外部扬声器不适合,因为即使是最好的“环绕声”也会被外界声音影响,减少沉浸感。
最基本的问题是头部运动:当我们的头部位置改变,VR中的声音也需要相应进行距离或方向的改变。如果没有,那么虚拟体验就不那么真实了。
Ossic(原Sonicvr)正在开发ossic x耳机,其中每个组件都被设计为身临其境的3D音频播放。 Ossic还未正式发布ossic X,但Kickstarter上超过一万名支持者众筹超过了270亿美元,充分表现出该公司的潜力。
Ossic X获得如此多支持者的原因是什么?因为ossic X的“空间化”3D音效功能可以提供VR产品的最理想的音频体验。下面我们来了解空间音频技术是如何欺骗大脑对声音的定位。
把头部编码到音频中
空间音频技术使用算法提供与现实世界一样的声音,包括音高、音量、混响等因素。
但是方向和距离并不是大脑计算声音位置的唯一线索。
如前所述,声波反射在人体的变化对我们大脑对声音定位提供重要信息。双耳音频也无法传递这种信息。
HRTF(头相关变换函数)可以提供高度身临其境的音频空间。它以声波的方式在不同角度击打我们的身体。通过头部跟踪头显,进行定制的测量。
有几家初创公司也正在致力于空间音频新技术。
– G’audio的生产工具包可以精确定位三维环境的声音。他们最近试行一种新的解决方案,在VR中实现流媒体空间音频。
– Kinicho,最近入选AR / VR加速器计划Augmentor,正在开发一个“声音现实引擎”,用于制作AR / VR高保真空间音频。
无论是空间音频算法,还是这些公司,都会继续发展。但前提是更多人采用VR,因为科技公司提高算法需要更多的用户数据。
本文来自黑匣网,本文观点不代表ashkeling立场,转载请联系原作者。