受史前生物启发：神经纳米光场相机具有极强的景深效果

大约5亿年前，三叶虫在海洋中成群结队，是今天的马蹄蟹的远亲。它们的视觉系统相当复杂--包括复眼并具有数万至数千个微小的独立单元，而每个单元都有自己的角膜、晶状体和光感受器细胞。

特别是一种三叶虫--Dalmanitina socialis因其独特的复眼结构而吸引了NIST研究人员的注意。化石记录检查表明，这个小家伙在其整个视觉系统中都有双层透镜，这跟当今节肢动物王国中的任何其他东西都不同，并且这些透镜的上层在中间都有一个凸起，进而形成第二个焦点。这意味着Dalmanitina socialis能够同时聚焦于它面前的猎物和可能从更远处接近的捕食者。

研究小组决定看看它是否能将这种想法应用于光场相机。普通的相机基本上是在一个二维的网格中接收光线并记录颜色和亮度信息，而光场相机则要复杂得多，其不仅要对颜色和亮度进行编码还要对进入传感器的每条光线的方向进行编码。

当整个光场以这种方式被捕获时，最终会得到足够的信息来重建色彩、深度、透明度、镜面、折射和遮挡方面的场景，而且还可以在照片拍完后调整诸如焦点、景深、倾斜和透视位移。

根据NIST团队的说法，迄今为止的问题是在不损失空间分辨率、不损失颜色信息、不关闭光圈以至于快门速度成为问题的情况下扩展景深。而这正是这些双焦三叶虫镜头所激发的突破性进展。

该团队设计了一个金属透镜阵列，其在玻璃的平面上镶嵌着一堆微小的、矩形的、纳米级的二氧化钛柱子。据悉，这些柱子中的每一个都被精确地塑造和定向进而以特定的方式操纵光线。

偏振在这里发挥了关键作用--如果光线是左圆偏振(LCP)或右圆偏振(RCP)，纳米柱子会以不同的数量弯曲光线。由于不同的弯曲量导致了不同的焦点，因此研究人员已经有效地有了两个焦点可以使用。问题是，一个传感器只能从这些焦点中的一个捕捉到焦点图像。

对此，研究人员定位了这些纳米柱状金属片以确保进入每个纳米柱状金属片的一些光线必须通过矩形的长边，而一些则通过较短的路径。同样，这使光线发生了两种不同程度的弯曲并产生了两个不同的焦点--一个像微距镜头一样近距离聚焦，另一个像长焦镜头一样远距离聚焦，所以在这个和偏振之间，研究人员有四个图像需要处理。

如果在这一点上数学还不够疯狂的话，研究人员随后想出了精确的超透镜几何形状，这使得长焦光束的左圆形偏振版跟宏焦光束的右圆形偏振版在完全相同的平面上聚焦，进而使它们都能同时被一个光场传感器清晰地聚焦记录--而不损失任何空间分辨率。

研究团队设计并建造了一个39 x 39的超透镜阵列，近焦点设置在仅3厘米处，远焦点设置在1.7公里处。另外，它设计并编码了一个使用多尺度卷积神经网络的重建算法，这样可以用来纠正这1,521个微小的双重用途超透镜所带来的所有许多畸变，特别是考虑到在纳米尺度上保持严格的制造公差是一件非常困难的事情。

这种重建算法被证明是一种宝石。经过一个简单的校准过程和训练，它可以准确地找出一个特定的超透镜阵列如何以及在哪里偏离了完美--在色差、模糊和其他光学缺陷方面，它可以做出修正，然后可以很容易地应用于任何拍摄的图像。

更重要的是，虽然它的两个焦点相距超过一英里，但重建算法可以锐利地重建放在它们之间的任何物品，进而创造出一个可以被设置为有史以来最大景深的最终图像，其中距离镜头一英寸半的物体跟远在地平线上的物体一样异常清晰和锐利。

事实上，重建算法在纠正错误方面做得非常好，研究小组曾使用这种技术的光场相机将不必以极高的精度来制造。也就是说，该团队认为它应该是相对容易制造的。

正如发表在《Nature Communications》上的研究报告所解释的那样--“这种受生物启发的纳米光场相机加上计算后处理，不仅可以实现具有极高DoF的全色成像，而且还能消除元光学所引起的光学畸变。”

研究团队认为这项技术可以在消费者摄影、光学显微镜和机器视觉等领域发挥作用，但由于它在这一点上是相当新鲜的研究，所以大家还是不要期待它很快就会上架。