找回密码
 立即注册
LiveVideoStack 首页 资讯 查看内容
  • QQ空间
  • 回复
  • 收藏

如何实现游戏中的实时语音与“听声辨位”

2018-5-24 08:30

实时音视频通讯已经广泛应用于社交直播、视频会议、在线教育等领域。而近期,如果大家留意应用市场中的热门手游,会发现排名靠前的游戏中,不少都具备实时语音通话功能。桌游(狼人杀)、枪战(吃鸡)、电竞(王者荣耀),甚至是H5小游戏都具有语音通话功能。其中,最有具特色的场景之一,就是在吃鸡游戏中,玩家之间不仅可以语音通话,还可以实现“听声辨位”。


具体场景是这样的


现有的人声识别绝大部分在服务端实现,这会带来如下两方面的问题

1. 在地图中的两个玩家,走近至一定距离内,说话就自动能被对方听到。走远了,就无法听到。


2. 两个在可听范围内的玩家,随着相对距离远近的变化,说话音量也会变化


3. 玩家的语音具有方位感,能够像游戏内置音效一样,判断出对方与自己的相对方位。


本文将解读如何实现上述功能。一共分三步:


1.可听范围的设定


2.通过声音体现玩家之间的相对距离


3.通过声音反映玩家间的相对方位


其中,第2点和第3点其实都是声音的空间感,也就是“听声辩位”,下文会合并在一起讲。


一.可听范围的设定


一场吃鸡游戏初始共100个玩家,那么游戏开始时,这100个玩家加入一个语音大频道,默认每个玩家的语音是静音状态。设定可听范围是以玩家为圆心,半径为R的圆形范围。有其它玩家走入这个圆形范围内,两者的语音自动解除静音,此时说话就能互相听到了。



二. 声音的空间感


如果想实现声音的空间感,带来3D音效体验,普遍会利用头部关联传输算法(head-related transfer functions, HRTF)。如果要理解它,我们需要先了解三个声学概念,大脑就是通过他们来判断声音在空间中的位置的。


首先是双耳时差(Interaural time differences, ITD),人耳通过声音到达左右耳的时间差来判断低频声源与人的相对水平距离。声源与左耳或右耳的距离越远,双耳时间差越大。




 由于通过ITD无法判断高频声源的位置,这时我们可以利用双耳水平差(Interaural level differences, ILD)来进行判断。由于头部带来的声学屏障(acoustic shadow),会让左右耳听到的声音大小与频率产生差别,由此大脑会判断出声源方位。


另外,还有频谱效应(Spectral effects)。声音在到达后会因外耳结构而形成反射,从不同方向来的声音,反射效果也不同,大脑可以根据它来判断声源在垂直方向上的相对方位。 


我们可以通过SpaceX猎鹰号发射现场视频,更直观地体会一下声音的空间感。在这个视频里,你能仅通过声音感受到不同方位的人、火箭的距离,甚至由室内到室外的空间变化。一起戴上耳机来感受一下吧。


视频地址:https://v.qq.com/x/page/l1333pqfp8b


HRTF算法基于以上三种效应对声源进行了处理,通过耳机收听时会有一种错觉,好像声音来自虚拟空间中特定的位置。很多游戏都通过HRTF来为玩家提供3D音效。那么放到吃鸡的虚拟环境中,应该怎样实现呢?


在吃鸡的百人地图中,每个玩家要有自己的ID,每个ID的实时坐标需要被记录。



图:通过简单的坐标可获得队友方位


见上图,通过两个玩家在游戏地图中的坐标,可以建立坐标系,来计算两个玩家之间的距离。为了叙述便利,我们以绿色玩家为原点,建立直角坐标系,可以得到红色玩家的坐标是(-1,1)。


1. 根据坐标,判断音效方位。如图红色玩家的坐标是(-1, 1),在第二象限,可以据此设定音效。


2. 根据坐标,计算两个玩家的相对距离。假设听力范围的半径为2,而现在两者距离约1.4,那么音量可设定为最大音量的30%左右。


通过判断队友之间所在的坐标来控制左右声道的音量和声音延时,就可以令玩家产生方位感了。

原作者: 声网Agora 来自: LiveVideoStack
文章点评