你好!欢迎来到深圳市品慧电子有限公司!
语言
当前位置:首页 >> 技术中心 >> 传感技术 >> ClearBuds团队介绍基于实时机器学习的通话音频增强技术

ClearBuds团队介绍基于实时机器学习的通话音频增强技术


(来自:University of Washington)

ClearBuds 是华盛顿大学三名研究人员(COVID 大流行期间的室友们)的一个项目成果。

作为一个开源项目,ClearBuds 旨在通过引入深度学习和音频处理层,来化解这方面的问题。

1 - ClearBuds vs Airpods Pro Noise Suppression(via)

可知其系统中包含了一套麦克风系统、以及能够在智能手机上运行的实时机器学习系统。

尽管大多数耳机仅使用了其中一个耳塞将音频发送到手机,但 ClearBuds 系统却能够发送两路音频流。

通过快速分析和处理,其相关信息能够被用于视频 / 电话呼叫等实时音频的体验改进。算法会抑制非语音信息,以增强用户通话时的声音。

Paul G. Allen 计算机科学与工程学院博士生 Maruchi Kim 表示,ClearBuds 有两个关键特性。

2 - ClearBuds System Overview(via)

首先,这款真无线耳机使用了双麦克风阵列,用于创建两个同步音频流,提供信息并允许我们在更高解析力的空间上分离来自不同方向的声音。

其次,通过引入轻量级的神经网络,ClearBuds 得以进一步增强通话者的声音。研究合著者 Ishan Chatterjee 补充道:

由于讲述者的声音离两个耳机很近、且距离大致相等,因而神经网络训练可专注于其语音并消除其它背景噪声。

这种方法与人耳的工作方式非常相似,即利用声音传入左右耳的时间差,来判断声音到底来自哪个方向。

3 - ClearBuds Background Voice Removal(via)

展望未来,我们希望该研究团队能够很快将 ClearBuds 或其实时机器学习音频增强技术推向市场。感兴趣的朋友,可移步至该项目的专题页面来获知详情。

用户评论

发评论送积分,参与就有奖励!

发表评论

评论内容:发表评论不能请不要超过250字;发表评论请自觉遵守互联网相关政策法规。

深圳市品慧电子有限公司