3D视觉传感技术：时间飞行法 (ToF) 技术分析
点击上方“新机器视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
文章内容摘要
现行的深度传感镜头作为智能手机的一大创新，已在目前主流智能手机上广泛应用。现因苹果在最新版iPad Pro上搭载了D-ToF（直接飞行时间法）深度传感镜头引起了极大的关注，推动了3D视觉在消费场景的新应用机会。为了让读者更全面的了解ToF技术，本文将会分析3D视觉传感技术的基本原理，ToF镜头的相关产业链信息，ToF技术的具体应用以及ToF技术的未来发展前景。
具体内容概要
一、3D视觉方案技术介绍
???????双目立体视觉法
? ? ? ?结构光法
二、时间飞行法（ToF）
?????? ToF原理介绍
?????? 飞行测量技术（D-ToF）
?????? 飞行测量技术（I-ToF）
?????? ToF产业链介绍
?????? ToF镜头模组组成核心硬件：
?????? 发射端：
????????（1）发光单元
????????（2）准直镜头
????????（3）DOE扩散片（Diffuser）
?????? 接收端：
????????（1）窄带滤光片和光学镜头
????????（2）红外CIS（图像传感器）
三、ToF技术应用场景
? ? ? ?手机
? ? ? ?汽车
???????人脸识别/安保系统
? ? ?? 工业领域/物流
四、ToF市场前景
双目立体视觉法的技术原理是通过从两个视点观察同一物体，从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，比如把一只手指放在鼻尖前方，左右眼看到手指会有一个错位的效果，这个位置差被称为视差。相机所要拍摄的物体离相机越近，视差越大，离相机越远，视差就越小。由此可以得出，当两个相机的位置等条件已知时，就可以通过计算相似三角形的原理来得出从物体到相机的距离。过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中，通常采用两个摄像机作为视觉信号的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。
双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是在1982年，David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得立体视觉已成为计算机视觉中一个非常重要的分支。
一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势，而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现，同时该技术易受环境因素干扰，对环境光照强度比较敏感，且比较依赖图像本身的特征，因而拍摄暗光场景时表现差。双目立体视觉法还有另一个限制，它过度的依赖于被拍摄物体的表面纹理，如果被摄物体表面没有明显的纹理，使用双目立体视觉法会无法匹配与之对应的像素的问题。
ToF 技术具有以下的优点：1、软件复杂性低，设计与应用简单 2、在暗光与强光环境下表现不错 3、功耗不高 4、有较远的探测距离 5、成本低 6、响应速度快，缺点则在于室外受自然光红外线影响大、远距离无法保证精度。
?
飞行时间测量技术（D-ToF）
在经典的飞行时间测量中，直接飞行时间（Direct ToF，D-ToF，下文称为D-ToF）的原理比较直接，即直接发射一个光脉冲，之后测量反射光脉冲和发射光脉冲之间的时间间隔，就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时，秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算：?其中表示光在空气中传播的速度。D-ToF通常用于单点测距系统，但由于像素级亚纳秒电子秒表的实现困难，D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPAD（single- photon avalanche diode，单光子雪崩二极管）是一种高灵敏度的半导体光电检测器，其被广泛运用于弱光信号检测领域。结合D-ToF技术，可用来精确检测记录光子的时间和空间信息，继而通过三维重极算法进行场景的三维重构。苹果在2020年发布的第四代iPad Pro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单，但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对时钟同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究D-ToF的厂家并不多，更多的是在研究和推动I-ToF。
3D传感产业生态链包括光源、光学单元（透镜及滤光片等）、图像传感器及模组制造等直接硬件环节，此外还包括软件、处理器、3D系统设计等。
ToF镜头的发光单元通常为能发出特定波长红外线的垂直腔面发射激光器（Vertical-Cavity Surface-Emitting Laser，又译垂直共振腔面射型激光，在下文称VCSEL），VCSEL能以相对较小功率发射出较高的信号。VCSEL是一种半导体，其激光垂直于顶面射出，与一般用切开的独立芯片制成，激光由边缘射出的边射型激光有所不同。传统的光电转换技术一般是用的LED等发光器件，这种发光器多采用的是边缘发射，缺点是体积较大，所以会比较难于半导体技术相结合。20世纪90年代垂直腔表面发射激光VCSEL技术成熟后，解决了发光器件和半导体技术结合的问题，因此迅速得到普及。VCSEL是很有发展前景的新型光电器件，也是光通信中革命性的光发射器件。此外，ToF中泛光照明器的VCSEL输出光束无需经过编码，因此器件制作上更为简单，可供选择的 VCSEL 供应商也更多。顾名思义，边发射激光器是沿平行于衬底表面、垂直于解理面的方向出射，而面发射激光器其出光方向垂直于衬底表面，如下图：
????VCSEL 是 3D Sensing 中重要的部件之一，不仅体现在其功能在体现在其价值量之中。随着 3D Sensing 在手机中进一步渗透，VCSEL 的市场规模将随之扩大。ToF不仅可以在手机中使用，还可以在光通讯、激光雷达等多个领域中使用，市场空间巨大。据市场研究机构 Yole 预测，到 2023 年，整个 VCSEL 市场将达到 35 亿美元，年复合增长率达到 48%。VCSEL 领域具有市场大、增长快、应用广等特点，未来对 VCSEL 的关注度将会日渐提升。从图中可看出未来在VCSEL赛道，主要集中的领域是消费电子、工业领域以及通信。VCSEL 是化合物半导体激光器，因此对应化合物半导体产业链，包括晶圆、外延片(EPI)、IC 设计、晶圆代工和封测等环节。
ToF模组依靠窄带滤光片和光学镜头来收集反射回的光线。滤光片只允许对应波长的红外线通过，抑制其他光线，并降低噪声。近红外识别系统中所用到的窄带滤光片及超薄高性能镀膜也是基于结构光及ToF的3D摄像头技术关键。3D摄像头在接收反射光时要求只有特定波长的光线能够穿过镜头，拦截频率带之外的光线，即隔离干扰光、通过信号光凸显有用信息，因此需要滤光片在接收端过滤掉非工作波段的光波。
在窄带滤光片赛道，难度和价值量都高于传统摄像头所用的滤光片，目前仅有 VIAVI 和水晶光电的技术较为成熟，这两家也是苹果iPhone X的窄带滤光片供应商。目前全球仅水晶光电和唯亚威(Viavi)两家企业具备大批量供货的能力。
早年的ToF传感器，多采用CCD(Charge-coupled Device，中文为电荷耦合元件，是一种图像传感器，下面简称CCD),而CMOS是另一种目前市场上更为主流的图像传感器(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体，在下文简称CMOS)。CCD的感光利用率更高，但是功耗十分大，发热严重，也是此前ToF方案未能应用在手机中的原因之一。随着图像传感器厂商不断提高CMOS传感器的技术，通过背照式(Backside Illumination，在下文简称BIS)设计、电流辅助光子演示(CPAD)技术，并将高速率多帧图像合成单张图像用以计算最终的深度，在降低图像噪声的同时降低了功耗，从而使ToF应用于手机成为可能，但对应的ToF传感器芯片成本也高出很多。
?
目前ToF技术在手机领域的三个应用主要是：安全（人脸识别，支付）、摄影、娱乐（增强现实，在下文简称AR）。
ToF技术镜头在手机中用于安全领域的人脸识别和金融支付主要是在运用在手机中的前置摄像头中，此前在手机前置摄像头中运用的三维技术大部分是结构光技术。由于结构光在成本上比ToF要高且工艺更复杂，因此现在的手机人脸识别技术开始从结构光技术向ToF技术转移。代表机型：华为Mate 30 Pro，三星Galaxy S10+5G、Vivo NEX双屏版。例如在Vivo NEX双屏版中，ToF前置摄像头可以运用3D人脸建模技术来进行人脸识别和自拍图片优化。
?
汽车：
ToF相机主要应用在三个领域，一个是座舱内部的驾驶者疲劳监测、手势识别、人脸识别。第二个领域是固态激光雷达。ToF相机可以看做一种固态激光雷达。第三个领域是自动泊车领域。在汽车电子领域，以ADAS（Advanced Driver Assistant System，高级驾驶辅助系统）渗透率不断提高为代表的汽车智能化趋势也正加速演进，而作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场也正持续受益。而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进，作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场正持续受益。根据 AutoLab的数据，2015年10月国内市场各种功能的ADAS的渗透率分别为：BSD 3.8%，AP 2.6%，FCW 2.6%，AEB 2.4%，SVC 2.3%，LDW 1.7%，ACC 1.3%， LKS 0.8%。全球整车市场ADAS的渗透率也低于10%，欧美地区市场接近8%，新兴 国家市场则仅为2%，仍有很大提升空间。据PR Newswire咨询公司测算，未来全球 ADAS渗透率将大幅提升，预计2022年全球新车ADAS搭载率将达到50%。
?
人脸识别/安保系统：
工业领域/物流：
来源：溪林投资，资料参考来源：西南证券，电子发烧网，赛迪集成电路研究所，电子产品世界，半导体行业观察，东方财富证券研究所，广发证券，Markets and Markets
Miles Hansard, Seungkyu Lee, Ouk Choi, Radu Horaud. Time of Flight Cameras: Principles, Methods, and Applications. Springer, pp.95, 2012, SpringerBriefs in Computer Science, ISBN 978-1-4471-4658- 2. 10.1007/978-1-4471-4658-2 . hal-00725654
Piatti, D., Remondino, F., & Stoppa, D. (n.d.). State-of-the-Art of TOF Range-Imaging Sensors.
M.Attamimi,A.Mizutani,T.Nakamura,T.Nagai,K.Funakoshi,andM.Nakano.Real-time 3D visual sensor for robust object recognition. In IROS, pages 4560–4565, 2010.
声明：部分内容来源于网络，仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥，请联系删除。
