科普 | 飞行时间（TOF）相机优缺点及其应用领域

计算机视觉|机器视觉|机器学习|深度学习

转载自丨 新机器视觉

利用TOF技术成像的设备被称为TOF相机（或TOF摄像头）， TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器（TOF芯片）、控制电路以及处理电路等几部单元组成。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。

与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。

TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射。

与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。

作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。

因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。

TOF相机优点：

1、相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景；

2、深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用；

3、经过进一步深化处理，可以完成三维建模等应用；

4、能够快速完成对目标的识别与追踪；

5、主要配件成本相对低廉，包括CCD和普通 LED 等，对今后的普及化生产及使用有利；

6、借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效；

7、无需扫描设备辅助工作。

TOF相机缺点：

1、相对于普通数码相机，其造价仍然偏高，影响该产品目前的普及使用率；

2、相机本身仍然受到硬件发展的限制，更新换代速度较快；

3、测量距离较常规测量仪器短，一般不超过 10 米；

4、测量结果受被测物性质的影响；

5、大多数机器的测量结果受外界环境干扰较为明显，尤其是受外界光源干扰；

6、分辨率相对较低，

7、系统误差及随机误差对结果影响明显，需要进行后期数据处理。

TOF技术具有丰富的应用场景，在汽车、工业、人脸识别、物流、安抚监控、健康，游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。

汽车：TOF传感器可以用于自动驾驶，通过TOF技术对行车环境进行感知，从而获取环境信息以增加安全性，此外TOF还可以用于汽车内的乘客离位检测。

工业领域：TOF传感器可以被用作HMI(人机接口：Human Machine Interface)，在高度自动化的工厂中，工人和机器人需要在很近的距离下协同工作，TOF设备可以用于控制各种情形下的安全距离。

人脸识别系统：TOF相机的亮度图像和深度信息可以通过模型连接起来，迅速精准的完成人脸匹配和检测。

物流行业：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；

安防和监控：利用景深进行人数统计（ Peoplecounting）俗称“数人头”，确定进入某区域的人数；通过对人流或复杂交通系统的人数统计，实现对安防系统的统计分析设计；以及敏感地区的检测对象监视；

机器视觉：工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备；

机器人：使用深度视觉进行导航、识别外界的环境、规划路径、实现避障工作等；

医疗和生物：足部矫形建模、病人活动/状态监控、手术辅助；

互动娱乐：动作姿势探测、表情识别、娱乐广告；在制作影视特时，TOF相机可以将深度信息附加在视频图像中，精确确定场景中每个像素的空间位置。通过简单的后期处理，就能将特效道具插入影片的任何位置。

此外，无论是固定式还是移动式的，TOF设备都可以作为一个性能优异的输入设备。TOF相机的手势识别能力特别适用于消费电子领域，例如游戏、手持式设备和家庭娱乐，以TOF设备为第一人称游戏提供了直观的接口，完全可以代替远程控制，鼠标和触摸屏。