“见微知著”培训课程：新兴视觉传感器技术
主办单位：麦姆斯咨询
协办单位：上海传感信息科技有限公司
一、课程简介
视觉是通过感觉器官（例如眼睛）接受外界环境中一定波长范围内的电磁波（例如光）刺激，经中枢有关部分进行编码加工和分析后获得的主观感觉。人类至少有80%以上的外界信息经视觉获得，因此眼睛被认为是人类以及某些动物最重要的感觉器官。类似地，视觉传感器是机器获得外界信息的重要来源，它是将电磁波信号按一定规律变换成电信号的换能器，典型产品为CMOS图像传感器，其具有像人眼视网膜一样捕捉可见光图像的功能，已经广泛应用于手机、汽车、安防、工业、医疗等领域。
人类眼睛与CMOS图像传感器响应对比（来源：SK海力士）
技术革新是CMOS图像传感器发展的主要驱动力。背照式和堆叠式技术正在兴起，逐渐成为中高端图像传感器主流技术，并改变竞争格局和市场状态。近些年，人工智能（AI）技术与CMOS图像传感器的深度结合（片上集成）将“边缘计算”演进至“传感器端计算”，正在掀起新一波智能化应用浪潮。2020年，索尼（Sony）发布了全球首款智能视觉传感器——支持高速边缘人工智能处理。当使用云服务时，利用这种传感器构建的视觉系统可减少数据传输延迟，解决隐私问题并降低功耗和通信成本。
索尼智能视觉传感器
学习借鉴并超越人类感觉器官是业界孜孜不倦追求的方向，各种新兴视觉传感器技术层出不穷，涉及更宽的电磁波频率（光谱）范围、更高的空间和时间分辨率、更高的灵敏度和动态范围，以及更多的电磁波信息（例如偏振）。在光谱传感方面，计算重建技术已成为最具发展前景的热点方向，研究人员相继提出了一系列计算重建型光谱仪，例如量子点光谱仪、超表面光谱仪、纳米线光谱仪、纳米梁光谱仪等。此外，计算重建技术与纳米光电器件的结合也为高速（≥100kHz）高光谱成像提供了全新思路。
视觉感知技术的新发展
视觉传感器应用领域扩展（来源：SK海力士）
在短波红外光谱方面，目前大多数传感器采用InGaAs（铟镓砷）技术，但是其高成本限制了应用范围。2020年，CMOS图像传感器龙头索尼进入短波红外成像领域，基于其专有的SenSWIR技术研发出业界最小的5μm像素InGaAs图像传感器，以小型化尺寸、高灵敏度、高动态范围实现“短波红外+可见光”成像。意法半导体（STMicroelectronics）、光程研创（Artilux）分别研发出与CMOS工艺兼容的量子点技术和GeSi（锗硅）技术，期望极大地降低短波红外图像传感器成本，以拓展广阔的消费类应用领域，例如手机屏下3D传感。这些新兴技术有望颠覆短波红外成像产业格局，掀起一波短波红外创新应用高潮。
索尼和意法半导体研发的短波红外图像传感器
在时间分辨率方面，基于事件的视觉传感器是基于帧的CMOS图像传感器的有效补充，它能以高时间分辨率无缝捕捉“动态”的影像——通过异步方式检测各像素的亮度变化，结合位置（XY坐标）与时间信息，仅输出变化像素对应的数据，从而实现高效、高速、低延迟影像输出，可在自动驾驶、机器人、无人机和高速工业应用领域发挥作用。2021年，索尼和Prophesee联合发布了业界最小的4.86μm像素基于事件的视觉传感器，其采用索尼专有的堆叠式技术，利用Cu-Cu连接实现像素芯片和逻辑芯片之间的导电，同时保持像素单元的高开口率。双方的合作伙伴关系或将预示着一个全新智能视觉时代的来临。
业界最小的4.86μm像素堆叠式基于事件的视觉传感器（来源：索尼）
在空间分辨率方面，3D成像和传感技术拓展了Z轴维度（深度），其主要利用飞行时间法（ToF）和三角测距法（又可以分为结构光法、双目立体视觉法等）获取目标对象及环境的三维信息，其中核心感知元件为ToF传感器（主要有PIN光电二极管（PD）、雪崩光电二极管（APD）、单光子雪崩光电二极管（SPAD）等类型）、CMOS图像传感器等。2017年，苹果iPhone X手机前置结构光模组开启了3D传感和成像时代，实现3D人脸识别功能。2020年，苹果新款平板电脑iPad Pro和智能手机iPhone 12 Pro搭载了基于3D ToF技术的激光雷达扫描仪，实现各种增强现实（AR）功能。除手机之外，3D成像和传感在自动驾驶汽车、机器人、智能眼镜、智能家居、智慧安防等领域都拥有广阔的发展前景。
苹果iPhone 12 Pro中的激光雷达扫描仪
为了探寻视觉奥秘，麦姆斯咨询邀请拥有丰富实践经验的科研学者及企业家，为大家深入讲解视觉传感器发展之路，以及视觉感知领域的新技术、新架构、新产品。本次课程内容包括：（1）图像传感器技术综述；（2）基于事件的视觉传感器技术发展及应用落地；（3）面向智能持续感知的“传感-计算”共融架构和芯片；（4）短波红外InGaAs焦平面探测器；（5）量子点红外探测器及焦平面阵列；（6）基于低维半导体材料的智能红外感知器件；（7）CMOS太赫兹图像传感器；（8）ToF图像传感器；（9）基于SPAD的ToF传感器；（10）硅基集成光学传感器及应用。
二、培训对象
本课程主要面向光电探测器、图像传感器、红外传感器、ToF传感器产业链上下游企业的技术人员和管理人员，以及高校师生，同时也欢迎其他希望了解视觉传感器的非技术背景人员参加，如销售和市场人员、投融资机构人员、政府管理人员等。
三、培训时间
2022年5月27日~5月29日
授课结束后，为学员颁发麦姆斯咨询的结业证书。
四、培训方式
线上直播课程和答疑
五、课程内容
课程一：图像传感器技术综述
老师：北京与光科技有限公司 首席运营官 黄志雷
图像传感器是一种将光学影像转换成电信号的换能器，它是组成数字摄像头模组的重要组成部分，广泛应用于手机、电脑、数码相机和其它电子光学设备。目前，图像传感器主要包括CMOS和CCD两大类。相比CCD技术，CMOS图像传感器具有集成度高、功耗小、速度快、成本低、体积小等优点，占据市场主导地位。本课程讲解图像传感器萌芽及发展历程，并介绍最近市场上出现的新兴图像传感器，最后详解基于CMOS的光谱成像芯片。
课程提纲：
（1）图像传感技术萌芽与人类视觉；
（2）图像传感器发展历程；
（3）新兴图像传感器概述：短波红外图像传感器、量子点图像传感器、事件驱动视觉传感器、偏振图像传感器、3D视觉传感器等；
（4）从光谱分析到基于CMOS的光谱成像芯片。
课程二：基于事件的视觉传感器技术发展及应用落地
老师：锐思智芯科技有限公司 首席科学家 刘晓光
基于事件的视觉传感器模拟了人类视神经工作原理，可实时高效地捕捉场景的变化，输出触发的像素级亮度变化（称为事件），并以微秒级分辨率输出异步事件流。锐思智芯将CMOS图像传感器和基于事件的视觉传感器融合，突破性地打造了融合式仿生视觉传感器，可同时输出帧图像信号和事件流信号，主要面向智能手机、智能家居、安防监控等应用领域。本课程讲解基于事件的视觉传感器技术发展情况，并重点阐述融合视觉方案技术原理及应用。
课程提纲：
（1）基于事件的视觉传感器（事件相机）技术发展综述；
（2）基于事件的视觉传感器面临的技术问题及应用难点；
（3）融合视觉（Hybrid Vision）方案技术原理；
（4）融合视觉（Hybrid Vision）方案典型产品及应用领域；
（5）基于事件的视觉传感器产业链；
（6）基于事件的视觉传感器未来展望。
课程三：面向智能持续感知的“传感-计算”共融架构和芯片
老师：清华大学 副研究员 乔飞
智能物联网技术是人工智能技术和物联网技术的快速发展下的必然产物，也是目前学术界和工业界共同聚焦的前沿方向。设计和实现具有持续智能感知能力的集成物联网节点是实现各种终端设备智能化的必由之路，也是解决当前物联网系统功耗、实时性和安全隐私性难题的关键技术。本课程讲解面向智能持续感知应用的“传感-计算”共融体系架构和集成电路设计方法，并根据视觉、听觉和触觉等多模态感知和多场景感知的需求，介绍能够持续开机工作的智能感知集成电路系统。
课程提纲：
（1）基于事件的持续智能感知系统的挑战；
（2）“传感-计算”共融持续感知架构；
（3）面向智能视觉持续感知的应用和设计实现；
（4）“传感+计算一体”混合信号电路设计与优化；
（5）智能视觉持续感知处理验证系统；
（6）智能听觉和触觉感知集成电路系统介绍；
（7）面向智能持续感知的技术与应用展望。
课程四：短波红外InGaAs焦平面探测器
老师：中国科学院上海技术物理研究所 研究员 李雪
短波红外InGaAs焦平面探测器具有探测率高、均匀性好等优点，其是发展小型化、低功耗和高可靠性短波红外光电系统的理想选择之一，在航天遥感、微光夜视、医疗诊断等领域具有广泛应用。近十年来，中国科学院上海技术物理研究所围绕高灵敏度常规波长（0.9~1.7μm）InGaAs焦平面、延伸波长（1.0~2.5μm）InGaAs焦平面以及新型多功能InGaAs探测器取得了良好进展。本课程详述短波红外InGaAs焦平面探测器各项关键技术，并进行总结与展望。
课程提纲：
（1）短波红外InGaAs焦平面研究意义；
（2）短波红外InGaAs光电探测材料；
（3）短波红外InGaAs焦平面探测器总体设计；
（4）短波红外InGaAs焦平面探测器制造；
（5）短波红外InGaAs焦平面读出电路；
（6）短波红外InGaAs焦平面探测器封装；
（7）短波红外InGaAs焦平面探测器总结与展望。
课程五：量子点红外探测器及焦平面阵列
老师：北京理工大学 教授 唐鑫
量子点（Quantum Dot）也称纳米晶，其半径接近或小于激子波尔半径，是近年来发展起来的一种“准零维”半导体纳米材料。胶体量子点具有带隙可调、可溶液制备及加工的特性，在短波红外区域有很强的吸收，在解决短波红外探测器的成本与便携问题方面具有极大潜力。当前大部分胶体量子点探测器探测波长限于短波红外区域，将探测波长拓展至中波红外与长波红外并提升探测率是未来的重要课题。本课程深入讲解胶体量子点探测器核心技术及其在光谱探测及成像方面的应用。
课程提纲：
（1）胶体量子点基本性质及应用简介；
（2）胶体量子点探测器结构及加工方法；
（3）双、多及高光谱胶体量子点探测技术；
（4）红外胶体量子点焦平面及成像技术；
（5）胶体量子点成像技术展望。
课程六：基于低维半导体材料的智能红外感知器件
老师：电子科技大学 教授 巫江
自石墨烯被成功制备以来，低维材料因其独特的性质吸引了广泛的关注。随后，独特的晶体结构以及诸多优异的性质，使得以过渡金属硫族化合物为代表的二维材料、以纳米线为代表的一维材料以及以量子点为代表的零维材料在光电应用中具有巨大的应用潜力。同时，稳定可控的掺杂、合金化的方式也使得低维材料具有定向调控其性质的可能。低维材料的出现提供了一个构建高性能、宽光谱光电探测器的良好选择。本课程重点讲解低维半导体红外探测技术及智能红外感知器件设计与制造。
课程提纲：
（1）低维半导体材料介绍；
（2）低维半导体红外探测技术及应用；
（3）新型低维材料红外探测器概述；
（4）基于低维半导体材料的智能红外感知器件设计与制造；
（5）基于低维半导体材料的智能红外感知器件技术展望。
课程七：CMOS太赫兹图像传感器
老师：中国科学院半导体研究所 研究员 刘力源
太赫兹（Terahertz，THz）波是指频率在0.3THz~3THz范围内，波长（1mm~100μm）介于毫米波与远红外光之间的电磁波。太赫兹波成像技术作为一种新型无损成像技术正在兴起，在生物医学、医疗诊断、安全检测、危险物品检查、隐形武器探测、材料表征和探伤等科学研究以及日用领域具有非常广阔的应用前景，业已成为各国争相研究的热点技术。本课程详解CMOS太赫兹探测器核心技术，并介绍CMOS太赫兹图像传感器设计和测试及未来发展方向。
课程提纲：
（1）太赫兹成像技术概述；
（2）CMOS太赫兹探测器原理和设计；
（3）CMOS太赫兹探测器读出电路；
（4）CMOS太赫兹图像传感器设计；
（5）CMOS太赫兹图像传感器测试；
（6）CMOS太赫兹图像传感器技术展望。
课程八：ToF图像传感器
老师：宁波飞芯电子科技有限公司 CEO 雷述宇
飞行时间法（ToF）可分为间接飞行时间法（iToF）与直接飞行时间法（dToF）。采用ToF焦平面阵列成像方式相比使用机械扫描方式，不需要可动部件，因此能够高速逐帧获取3D图像，在拍摄动态目标物体时，能够抑制3D图像的失真。那么iToF与dToF的工作原理、关键技术、应用场景存在哪些差异？未来哪种技术更有发展前景？本课程将从底层物理角度详细剖析，并结合最新应用案例（3D摄像头和激光雷达）为您答疑解惑。
课程提纲：
（1）ToF图像传感器工作原理及iToF与dToF对比；
（2）iToF图像传感器设计、制造、封测等关键技术；
（3）基于iToF图像传感器的3D摄像头；
（4）dToF图像传感器设计、制造、封测等关键技术；
（5）基于dToF图像传感器的3D激光雷达。
课程九：基于SPAD的ToF传感器
老师：深圳市灵明光子科技有限公司 联合创始人兼总裁 贾捷阳
SPAD是指工作在盖革模式下的APD，具有单光子探测能力。SPAD基于碰撞电离和雪崩倍增的物理机制对光电流进行放大，从而提高检测的灵敏度。SPAD的工作电压大于其雪崩击穿电压，这样能够保证即使单个光子入射激发出的载流子也能引起雪崩效应。由于苹果新款iPad Pro和iPhone系列中的激光雷达扫描仪采用了基于SPAD阵列的dToF传感器，因此将SPAD推上了风口浪尖。本课程邀请SPAD产业界创新公司灵明光子来讲授SPAD基础知识及dToF传感器关键技术，最后阐述实用化SPAD dToF传感的今天和未来。
课程提纲：
（1）光电探测基础和SPAD原理；
（2）SPAD vs. APD vs. SiPM vs. SPADIS；
（3）3D视觉方案对比：多（双）目 vs. 结构光 vs. iToF vs. dToF；
（4）dToF传感器关键技术；
（5）SPAD dToF成像关键技术；
（6）实用化SPAD dToF传感的今天和未来。
课程十：硅基集成光学传感器及应用
老师：山东大学 教授 陶继方
硅基集成光电子学主要研究和开发以光子和电子为信息载体的硅基大规模集成技术，其具有片上光通信和片上光学传感两大主要应用。在“传感”应用方面，利用硅基集成光电子平台可以集成激光器、探测器和多种无源光器件，构建毫米尺寸的高性能光学传感系统，具有低成本、高集成度等优点，可用于片上光谱分析仪、纯固态激光雷达等。本课程聚焦于硅基集成光学传感器核心技术，并对其典型应用进行介绍。
课程提纲：
（1）硅基集成光电子概述；
（2）硅基集成光学传感器设计；
（3）硅基集成光学传感器制造；
（4）硅基集成光学传感器封测；
（5）硅基集成光学传感器应用：环境感知、激光雷达、生物感知。
六、师资介绍
黄志雷，博士，清华大学物理系学士、电子系博士，美国加州大学伯克利分校访问学者。他曾获得国家奖学金、北京市优秀毕业生；曾任华为2012中央研究院主任工程师（18级），获得华为总裁团队奖。他长期从事光声晶体和光谱芯片在场景应用方面的研究工作，发表相关文章20余篇，包括SCI文章8篇，申请相关专利50余项。
刘晓光，博士，他于2010年获得美国普度大学电机及计算机工程学博士学位；于2011年以助理教授身份加入美国加州大学戴维斯分校电机与计算机工程系，并于2017年晋升终身副教授；2021年加入南方科技大学微电子学院任长聘教授身份，并获得国家优青（海外）的殊荣。他的主要的研究方向为高频高速集成电路与光电集成电路系统的设计和实现，在相关领域拥有超过15年的科研积累。他所领导的课题组在多个研究方向取得了世界领先的科研成果，在知名学术期刊和会议上发表超过140篇论文。
乔飞，博士，他于2000年获得兰州大学理学学士学位，2006年毕业于清华大学电子系，获工学博士学位。他在低功耗集成电路设计、面向智能感知的新型高能效信号处理架构和集成智能感知电路系统领域有近20年的基础理论研究和关键芯片设计技术积累。他目前已先后在集成电路设计和感知技术应用领域顶级的国际会议和期刊（如ISSCC、DAC、ICCAD、ISLPED、IROS、ICRA等和TCAS-I、TCAS-II、TVLSI、TC、TCAD等）发表论文，获得授权发明专利30余项，并于2019年获第二十三届全国发明展览会发明创业奖·项目奖（金奖）。
李雪，博士，中国科学院上海技术物理研究所二级研究员，上海大学兼职教授、博士生导师，上海传感技术学会副理事长，中国光学学会红外与光电器件专业委员会委员。她曾获2017年度上海市巾帼建功标兵称号、2017-2018年度上海市三八红旗手、2021年上海市优秀学术带头人。她长期从事航天遥感用新型短波红外焦平面探测器组件以及红外组件集成技术，解决了器件量子效率、暗电流、有效像元率、噪声以及组件MTF等关键技术，作为主管设计师实现了我国自主研制的新型短波红外焦平面探测器首次空间应用。她主持了多项国家项目，指导毕业硕博生10余名，发表论文百余篇，授权发明专利30余项，国内外学术会议邀请报告10余次。
唐鑫，博士，北京理工大学光电学院教授，博士生导师，曾入选国家海外高层次人才引进计划青年项目、中国科协青年人才托举工程等。他于2017年博士毕业于香港城市大学，2020年在美国芝加哥大学完成博后研究工作。他曾主持多项省部级以上项目，包括国家重点研发计划青年科学家项目、国家自然科学基金重点项目、军科委重点基金及重大装备基础研究等。他长期从事新型胶体量子点红外探测器及焦平面阵列的研究及系统开发工作，波段涵盖短波、中波以及长波等多个重要红外大气窗口。围绕胶体量子点的新型光电器件构筑、焦平面制备以及多光谱红外成像等难题，进行了全面探索并取得了一系列突破性研究成果。相关成果以第一作者/通讯作者发表于Nature Photonics、Advanced Materials、ACS Nano等期刊上。他目前担任Coatings期刊客座编辑及Nature Photonics等期刊审稿人。
巫江，麦姆斯咨询2020年度“杰出讲课老师”，博士，电子科技大学基础与前沿研究院教授、博士生导师。他先后在美国和英国留学、从事科研教学工作10余年，曾任英国化合物半导体未来制造中心KPI、伦敦大学学院终身教职、博士生导师，其研究领域包括化合物半导体外延生长机理、低维结构中关于物质作用、以及量子结构光电器件特性与性能等问题，实现了高性能III-V族中红外探测器、硅基III-V量子点激光器、新型低维结构光电探测器件等。他发表学术论文100余篇，引用5000余次，其中影响因子10.0以上论文40余篇，拥有授权发明专利10余项，出版英文专著4部。他现为英国高等教育学会会士、IEEE高级会员、中国光学工程学会高级会员、意大利教育大学与科研部（MIUR）注册专家（应用研究类）、Nanoscale Research Letters主编、IEEE Access副编辑、Frontiers in Electronics副编辑、Nano-Micro Letters、中国核心期刊《实验科学与技术》等期刊编委委员、先进光电子四川省青年科技创新研究团队负责人、伦敦大学学院Arena Fellow。
刘力源，博士，中国科学院半导体研究所研究员、博士生导师，于2016年入选中国科学院青年创新促进会。他主要从事CMOS太赫兹波图像传感器和视觉芯片研究，并主持自然科学基金面上项目、国家重点研发计划课题、北京市重点研发计划项目等。他已发表90余篇科技论文；获得多项重大研究成果：研制成功0.86THz和3THz CMOS太赫兹波探测器；研制成功阵列型0.86THz、3.0THz CMOS太赫兹波图像传感器并实现成像，成像速度达到实时；研制成功816x600像素CMOS高速图像传感器，成像帧率1000fps；研制成功集成了图像传感器和大规模并行图像处理器的视觉芯片，实现了1000fps的图像获取和图像信息处理的系统速度。
雷述宇，多次获得麦姆斯咨询颁发的年度讲课老师称号，博士，北京大学客座教授，原北方广微科技有限公司联合创始人，现任宁波飞芯电子科技有限公司创始人、首席执行官。本科毕业于北京大学，硕士和博士均毕业于美国凯斯西储大学。他拥有20余年研发和产品设计经验，百余项发明专利，10余项论著成果。2017年荣获陕西省“特支计划—科技创业领军人才”称号、西安市“5211人才”称号及杭州西湖区“325计划”人才称号。2018年7月认定为西安市高层次人才分类C类。2018年11月获得宁波奉化区“凤麓英才”计划创业团队（领军型）A类，2019年5月被聘为温州大学兼职教授，2020年5月被宁波市教育局和宁波市经信局聘任为宁波市集成电路（微电子）产业人才培养基地产业教授。
贾捷阳，多次获得麦姆斯咨询颁发的年度讲课老师称号，本科、硕士与博士均毕业于美国斯坦福大学电子工程专业。他拥有10年以上高效率光电器件与半导体材料科研经验，在Nature Communication等顶级学术刊物上发表过多篇高影响力论文。曾以早期员工身份任职于Solar Junction、Mojo Vision两家硅谷创业公司并担任核心研发职务。2018年回国参与创办灵眀光子，致力于用国际领先的单光子探测技术为激光雷达、消费电子3D传感应用开发dToF单光子探测器芯片。2018年获得深圳市海外高层次人才（C）称号，并入选2019福布斯30U30榜单。
陶继方，多次获得麦姆斯咨询颁发的年度讲课老师称号，博士，山东大学教授、博士生导师。他在北京邮电大学信息光子学与光通信国家重点实验室获得工学博士学位，从事硅基微纳光电子器件的设计、加工和封装工艺的研究，以及该器件在智能传感领域中的应用。2012至2013年，在新加坡南洋理工大学担任博士后研究员；2013至2014年，在歌尔股份中央研究院任职高级工程师、副总裁助理；2014年至2018年，先后获得新加坡国立研究基金（NRF）、科技局-宝洁公司联合基金、科技局前沿研究项目、德国博世集团等机构的资助。近年来在Advanced Materials、Scientific Reports、Applied Physics Letters、IEEE-MEMS、Transducers、IEDM等国际权威期刊和国际会议上，发表学术论文40余篇，申请国际专利12项，已授权美国专利2项。目前担任Nanoscale、Optics Express、Journal of Selected Topics in Quantum Electronics、Optics Communications、Photonics Journal等期刊审稿人。
七、培训费用和报名方式咨询
请发送电子邮件至PENGLin@MEMSConsulting.com，邮件题目格式为：报名+新兴视觉传感器培训+单位简称+人数。
报名网站：
https://www.memstraining.com/training_42.html
麦姆斯咨询
联系人：彭女士
电话：17368357393
E-mail：PENGLin@MEMSConsulting.com
延伸阅读：
《新兴图像传感器技术、应用及市场-2021版》
《汽车激光雷达（LiDAR）专利全景分析-2022版》
《激光雷达产业及核心元器件-2020版》
《自动驾驶汽车、机器人出租车及其传感器-2021版》
《飞行时间（ToF）传感器技术及应用-2020版》
