高保真还原声音,虚拟世界更加逼真
11月12日,由工业和信息化部、江西省人民政府共同主办的2022世界VR产业大会在南昌开幕。在同期举办的元宇宙高峰论坛中,DIRAC中国区董事总经理叶涛为人们带来了题为《虚拟世界中的真实声音重建》的主题演讲,并表示,未来,希望通过高保真还原的声音,让人们体验三维声音效果,从而全方位体验虚拟世界。
听声定位原理实现三维效果
叶涛表示,在虚拟世界中,耳机和VR收音设备所需要解决的问题是如何在虚拟环境中听到真实世界的声音,在此之前,需要摸清声音定位原理,而这也是实现三维声音效果的关键。
听声定位原理有两种方式,即多声道音频定位以及针对目标对象格式的声音进行定位。多声道音频定位原理是通过模拟人类的双耳以及人脑,打造出一种滤波器,从而能够帮助人们清晰地分辨出声音的位置。例如,人的两个耳朵在接触到声音信号时,会在时间和强度方面有一些差异,但是由于人脑以及耳廓是天然的滤波器,因此尽管双耳收音有一些差异,但依旧能够通过声音精准地辨别出位置。
据了解,通过声道音频定位技术,能够使人们听到的声音更具有空间感与临场感,甚至让人产生环绕感。因此在虚拟世界中,若能更好地实现该技术,将使人在虚拟世界中有更好的沉浸感。
针对目标对象格式的声音进行定位技术主要用于游戏领域,能够基于游戏对象的位置直接保存声音的朝向、距离、混响等一切空间信息,并最终在播放终端完美还原出来音源位置。
HRTF是三维声音的最底层的技术
什么样的音频技术能帮助我们感受到三维声音效果?叶涛的答案就是——HRTF(Head Related Transfer Function头部相关传输函数)。
据了解,HRTF是一种声音定位算法,用其来推算人耳如何从空间中的声源点接收声音。此外,HRTF还可以将其视为一种滤波器,即利用ITD(Interaural Time Delay)、IAD(Interaural Amplitude Difference)和耳廓频率振动等技术产生立体音效,使声音传递至人耳内的耳廓、耳道和鼓膜时,聆听者会有环绕音效的感觉,甚至可以实时处理虚拟世界的音源。
叶涛介绍,HRTF分动态HRTF以及静态HRTF,动态HRTF即通过动态的参数来分辨声源的具体位置,静态HRTF即通过静态的参数来分辨声源的具体位置。叶涛认为,动态HRTF的出现,弥补了静态HRTF中的一些不足。例如,在静态HRTF中,假设人的头部和躯干进行串联活动,那么当头部和躯干在进行非串联的活动时,便无法捕获HRTF数据。这也造成了定位模糊、声音不一致、声音失真等问题,使得通过静态HRTF处理后的声音通常听起来不自然且失真。
而动态HRTF能够很大一定程度上地解决静态HRTF的现有问题。由于动态HRTF获取的是动态的参数,使得人们在生活中,无论如何活动,都能够随时获得HRTF数据,帮助人们对声音的定位更加精准,声音过渡也能够更加平滑、更加自然和逼真,同时人们的活动也不会受到限制。