谷歌推出开源空间音频编码引擎songbird

文/ Google Chrome 媒体团队 Jamieson Brettle 和 Drew Allen

要打造真正沉浸式的虚拟场景,不仅需要有炫目的视觉效果,还需要伴有逼真的空间音频,从而营造出逼真而可信的体验。空间音频工具允许开发者加入来自任何方向的声音,这些声音在 3D 空间中与音频源相关联,从而让用户完全置身于 360 度的环绕声环境中。

空间音频有助于让用户身临其境,营造出进入一个全新世界的幻觉。为实现这种效果,Chrome 媒体团队创建了 Songbird 这个开放源代码的空间音频编码引擎,该引擎可在使用 Web Audio API 的任何网络浏览器中运行。

Songbird 库可接受任何数量的单声道音频流,并允许开发者通过编程方式将这些音频流置入用户周围的 3D 空间中。Songbird 让您可以打造出沉浸式的音景,逼真地再现您所描绘的空间的声音反射和回响效果。声音会像在现实世界中那样从墙壁上弹回,从各种材料上反射回来,从而打造出真正 360 度的声场。Songbird 可以打造出一种环绕声声场,随后,可以实时渲染该声场,供您的应用使用。

我们与去年我们介绍的 Omnitone 项目合作,为 Omnitone 的双声道渲染器提供了更高阶环绕声的支持,从而实现了远比以前更精准的发声音频。

Songbird 封装了 Omnitone,开发者现在可以借助它为任何基于网络的应用添加交互式全声场音频。Songbird 可升级支持任何阶次的环绕声,与通过标准 Web Audio API 所能实现的音景相比,Songbird 可以带来更逼真的声音和更高的性能。

Songbird 音频处理示意图

Songbird 基于 Google 空间媒体规范实现。它接受单声道输入并通过 SN3D 归一化输出环绕声(多声道)ACN 声道布局。详细文档可在此处找到。

随着网络作为一种重要 VR 内容交付平台的兴起,空间音频将在用户拥抱这种新型媒体方面发挥关键的作用。Songbird 和 Omnitone 是在网络平台上实现空间音频并使其成为打造非凡 VR 体验的卓越平台的关键工具。将这些音频体验与 three.js 这样的 3D JavaScript 库相结合,可以粗略展示出网络的未来。

在 3D 环境中搭配空间音频的演示

此项目的实现离不开 Google 的 Daydream 团队和网络音频团队的密切合作。这种合作让我们得以为网络带来丰富的音频功能,就像开发 Daydream 应用的开发者所能获取的那些功能一样。

Songbird 是开放源代码的,我们期待见到人们利用它能带来什么。在 GitHub 上查看代码并告诉我们您的想法:

https://github.com/google/songbird

还有许多关于使用 Songbird 创建全空间音频的演示:

https://cdn.rawgit.com/google/songbird/master/examples/index.html

查看更多文章,请关注『谷歌开发者』官方微信公众号

发表评论

您的电子邮箱地址不会被公开。

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据