由AI控制的按像素曝光的传感器

　　斯坦福大学，曼彻斯特大学和苏黎世的IBM Research发表了论文“神经传感器：使用可编程传感器学习HDR成像和视频压缩感测的像素曝光”，作者：Julien N.P. Martel, Lorenz K. Mueller, Stephen J. Carey, Piotr Dudek, and Gordon Wetzstein.

　　论文中显示，相机传感器依靠全局或滚动快门功能来曝光图像。这种固定功能的方法严重限制了传感器捕捉高动态范围（HDR）场景并解析高速动态的能力。作为功能强大的计算摄影方法，已经引入了空间变化的像素曝光，以对传感器上的辐照度进行光学编码并通过计算恢复场景的其他信息，但是现有方法依赖于启发式编码方案和庞大的空间光调制器以光学方式实现这些曝光功能。

　　在这里，我们将神经传感器作为一种方法来以端到端的方式与可区分的图像处理方法（例如神经网络）一起优化每个像素的快门功能。此外，我们演示了如何利用新兴的可编程和可重新配置的传感器处理器来直接在传感器上实现优化的曝光功能。我们的系统将传感器的特定限制考虑在内，以优化物理上可行的光学代码，并在仿真和实验结果中展示了HDR和高速压缩成像的最新性能。