科学家演示新系统 可在交响乐中区分单个乐器的演奏

该系统的技术理论依据是声音只不过是一系列穿过空气的压力波。任何能发出声音的东西都只是通过振动来产生这些压力波。光学麦克风基本上是一个摄像系统，旨在监测和解释声源表面的振动——甚至是放置在声源附近的物体，它们会随着周围空气中的声波而振动。

卡内基梅隆大学团队的系统将激光照射在振动表面上，产生精确的散斑图案，随着声源的振动而扭曲。两台摄像机以每秒 63 帧的速度记录散斑图案的变化，并使用软件算法分析两个摄像机镜头中的散斑图案变化，并重建音频信号。

63 fps 的帧速率在这里可能看起来有悖常理；人类的听觉可以区分以每秒 20 到 20,000 个周期左右振荡的音调（也就是分贝），因此忽略此处的所有其他挑战，输入数据的 63-fps 限制似乎对该设备可以发出的声音设置了 63-Hz 的上限。

事实上，由于对所涉及的摄像头的一些非常巧妙的使用，这款光学麦克风可以读取高达 63,000 Hz 的声音。一台相机使用全局快门，这意味着它在每一帧中同时读取其整个图像传感器。另一台相机使用滚动快门，因此它将传感器读取为每帧一千条连续的水平线。因此，滚动快门图像包含高频信息，可以将其与全局快门图像进行比较，以解释音乐家演奏时吉他的移动和倾斜等问题。

该研究论文的主要作者、卡内基梅隆大学机器人研究所照明与成像实验室的博士后研究员 Mark Sheinin 说：““我们发明了一种观察声音的新方法。这是一种新型的摄像系统，一种新的成像设备，能够看到肉眼看不见的东西”。

该团队已经在吉他和小提琴上、扬声器纸盆、音叉上，甚至是坐在扬声器前并随着环境声音而振动的 Doritos 包上测试了这种光学麦克风。他们还用它来分离两把吉他演奏二重奏的音频，以及两个扬声器的音频，每个扬声器都在播放不同的歌曲。

共同作者、机器人研究所助理教授马修·奥图尔（Matthew O'Toole）说：“这个系统突破了计算机视觉所能做的事情的界限。这是一种捕捉高速和微小振动的新机制，并提出了一个新的研究领域”。