相机和AI：工业机器视觉技术加速发展的双引擎
【导读】机器视觉（MV）是一种使机器人和自动驾驶汽车等其他机器能够看到和识别周围环境中物体的技术。在过去几年里，机器视觉的进步使得许多机器人和自动驾驶汽车拥有了几乎与人类相似的感知水平。这个过程主要是通过将光学传感器与人工智能和可以分析和处理图像数据的机器学习工具进行配对，此时搭载了机器视觉系统的机器人和自动驾驶汽车就能够执行非常复杂的任务了。
眼睛和大脑：
机器视觉和计算机视觉的主要区别
很多时候，机器视觉会与计算机视觉一词混为一谈。然而，事实上二者还是有区别的。对机器视觉而言，它通常与具备计算机视觉能力的工业应用联系在一起，需要摄像头来捕捉和提供图像数据。计算机视觉的任务则是将已有的图像数字化，处理其中包含的数据并采取某种行动。
一般来讲，机器视觉系统的处理能力相对较小，主要用于精益制造环境，通过高速执行实际任务以获取完成指定作业所需的数据。计算机视觉系统是处理视觉数据的人工智能（AI）和机器学习（ML）算法的所在，它需要收集尽可能多的关于物体或场景的数据并充分理解它们。因此，计算机视觉既要能够分析来自运动检测器、红外传感器等来源的图像，又可以在没有相机的情况下执行任务，扫描数字网络照片或视频，处理来自任何来源（包括互联网）的图像。从本质上讲，机器视觉就是系统的眼睛，而计算机视觉则相当于系统的大脑。
相机：
机器视觉系统中的重要组件
机器视觉是一项看似简单但实际上相当复杂的技术。首先，它需要使用专门的光学器件来捕捉周围环境中的视觉信息。然后，再借助硬件和软件的组合对图像的某些特征进行处理、分析和测量。例如，作为制造系统的一部分的机器视觉应用程序可以用于分析在装配线上制造的零件的特定特性，确定零件是否符合质量标准。
在实际应用中，机器视觉常常被看作是计算机的一种视觉能力，其系统由一个或多个光学传感器（如高分辨率相机）、模数转换（ADC）和数字信号处理（DSP）等器件组成。相机和传感器用于收集感光形式的图像，并将其转化为电信号，所产生的电信号经数字化处理后被传输到计算机进行分析并提供所需的输出。在技术复杂性上，机器视觉与语音识别相似。
目前，用于制造业的机器视觉主要采用两种类型的相机，即：面阵扫描相机和线阵扫描相机。
面阵扫描相机使用矩形传感器在单个帧中拍摄照片，传感器中的像素数量对应于图像的宽度和高度。线阵扫描相机是逐个像素地构建图像，它们适用于拍摄运动中或尺寸不规则的物品的图像。在拍摄照片时，传感器在物体上以线性运动通过，因此，线阵扫描相机不像面阵扫描相机那样局限于特定的分辨率。
相机的灵敏度和分辨率是机器视觉系统的两个重要参数，其中，分辨率负责区分物体，而灵敏度是机器在光线昏暗或波长不可见的情况下检测物体或微弱脉冲的能力。一般来说，分辨率越大，视野就越有限。灵敏度和分辨率是相互依存的，如果其他因素不变，增加灵敏度就会降低分辨率，而增加分辨率则会降低灵敏度。面阵相机的分辨率和扫描频率一般均低于线阵相机。
许多机器视觉相机的分辨率超过4,500万像素，这些相机能以极高的速度拍摄物体而不会失真。推动机器视觉功能的另一个进步是基于事件的视觉传感器。这些传感器处理图像的方式与人眼的视神经处理信息的方式类似。更具体地说，这些基于事件的视觉传感器检测每个像素的亮度变化。这种能力使机器视觉能够在比传统的基于帧的视觉传感器暗得多的环境中使用。
Sony Spresense的ISX012是一款有效像素达到511万像素的图像传感器，相机板在Spreseense的主板上使用了这款结构紧凑、高分辨率的传感器来扩展主板的功能。板载编码器可以采集JPEG、RAW、Y/C或RGB格式的图片。相机板通过专用的并行接口直接连接到主板，当与主板上CXD5602微控制器的AI功能相结合时，可为物联网设备提供先进的视觉功能。
图1：可提供先进的视觉功能的
Sony Spresense相机板（图源：Mouser）
当然，出于应用成本的考虑，机器视觉系统不是越复杂越好，而应选择适合的。一维（1D）视觉、二维（2D）视觉以及三维（3D）视觉这三种类型是常用的、面向不同任务的机器视觉系统。
01 1D视觉
1D视觉不会一次性完成整个物体图像的分析，而是一次读取一行，通常采用线阵扫描相机，这种类型的机器视觉常常用在制造过程中的产品检测，比如用来发现传送带上产品中的缺陷；
02 2D视觉
2D视觉主要使用数码相机收集图像数据，通过比较一幅图像与下一幅图像的变化来确定下一步应采取的处理措施，这种类型的机器视觉通常用于物体跟踪以及产品的类型验证等；
03 3D视觉
3D视觉通常在不同位置使用多个数码相机和其他传感器来捕捉物体的数字模型或图像，从而对其位置、大小和特征进行准确的评估，因此，3D机器视觉非常适合帮助机器人导航周围环境并执行与订单相关的任务。
随着不同垂直行业对质量检测和自动化的需求不断增加，3D机器视觉市场将以高于行业平均水平的速度实现快速增长。Grand View Research的分析数据表明，2022年，全球3D机器视觉市场规模为58.1亿美元，预计2023年至2030年的复合年增长率（CAGR）将达到13.5%。
ams OSRAM公司的Mira220全局快门图像传感器是一款体积小巧、专为工业机器视觉应用而设计的2D和3D解决方案，有效分辨率为1,600（H）x 1,400（V），帧速率可高达90fps，深度为12位。Mira220采用的先进背面照明（BSI）技术将传感器层堆叠在数字/读出层的顶部，这种设计产生了占位面积仅为5.3毫米×5.3毫米的芯片级封装，特别适合空间受限产品的设计。
Mira220的功耗非常低，在睡眠模式下仅需4mW，在空闲模式下功耗40mW，而在90fps的全分辨率下也仅仅需要350mW。此外，Mira220传感器还可以利用MIPI CSI-2接口方便地与处理器和FPGA进行交互。
图2：专为工业机器视觉应用而设计的ams OSRAM的Mira220全局快门图像传感器（图源：ams OSRAM）
工业：
机器视觉应用的主战场
机器人之所以能与人类做同样的工作，主要归功于机器视觉。机器人手臂用它来检查从装配线上下来的零件和产品，确定哪些符合质量标准。此外，机器视觉还使机器人和人类之间的协作更加高效和安全。现在，机器视觉已经成为工业4.0过程自动化的关键技术，其中汽车、制药、包装、食品和饮料等垂直行业是使用机器人系统比较突出的领域。
据Grand View Research的分析，2022年，全球机器视觉市场规模为168.9亿美元，预计2023年至2030年将以12.3%的复合年增长率（CAGR）增长，到2030年，市场规模将达到416亿美元。按照产品划分，机器视觉产品可细分为基于PC的和基于智能摄像头的系统。2022年，基于PC的细分市场在全球的市场份额超过54.92%，接下来的几年里预计这一趋势仍将得到延续。
与机构或教育应用中使用的机器视觉系统相比，工业机器视觉系统通常更耐用，并要求较高的可靠性、稳定性和准确性，而它们的成本则比在军事、航空航天、国防和政府应用中使用的系统要低很多。这也是近些年机器视觉在工业领域日益普及的重要原因。
在工业应用中，机器视觉常常被用于执行各种任务，下面我们就列举一些：
01 电子元件的识别和分析。对元器件的准确识别及跟踪是整个制造或物流过程控制的重要环节。例如，将机器视觉用于电路板的焊接过程监控，除了完成焊接质量检查，还能同步检查元器件的放置是否正确。
02 印刷缺陷识别。印刷缺陷识别的目的是定位印刷异常，如不正确的色调或印刷品的缺失或有缺陷的部分，机器视觉的应用大幅降低了人为因素可能出现的错误。
03 材料检查。材料检测系统中的机器视觉功能确保了产品的质量控制，它能准确识别产品中的缺陷甚至污染物。例如，可将机器视觉系统用于药丸和片剂的过程监控。
04 物体定位。在机器人制导等应用中，机器视觉通常被用来寻找东西，其目的是确定目标物体的坐标和位置。这也是机器视觉普遍的应用之一。
05 模式识别。机器视觉在当今的医学诊断方面发挥了重要作用。医学成像分析使用基于机器视觉的模式识别、磁共振成像、血液扫描和大脑扫描等技术可对疾病进行准确的诊断。
06 物体识别。在汽车行业，自动驾驶汽车使用机器视觉系统中的摄像头拍摄的图像进行物体识别，得以准确地分析出道路上的障碍物类型。随着自动驾驶技术的不断演进，这一领域将成为机器视觉极具发展前景的应用之一。
人工智能：
工业机器视觉技术发展的加速器
现代机器视觉系统开始越来越多地使用人工智能（AI）方法与技术，如机器学习或深度学习，以及人工神经网络。AI能够处理大量以前难以收集的图像和数据信息，加快了决策过程。例如，签名和字符识别，有了人工智能的加持，机器视觉系统可以快速甄别其中的细微差别。
在制造业中，AI有助于物体识别和材料检查，使机器视觉系统能够理解物体或材料形状和纹理的变化。在质量保证方面，AI系统可以分析出现的异常现象，而不是单纯地检出和拒绝不符合规范的产品。机器视觉与AI和深度学习相结合，扩大了机器人在执行生产线任务中的作用，如挑选、分拣、放置和执行生产线扫描。这种技术组合还使机器人能够在其他环境中运行，如超市、医院和餐馆等。基于AI的机器视觉还可以在更广泛的背景和照明设置中识别缺陷，并灵活应对产品外观和缺陷类型的变化，例如凹痕或变色。
深度学习是人工智能中一个更复杂、更强大的子集，在机器视觉应用中也越来越多地被采用。在人工智能的支持下，机器视觉系统常常被用来执行复杂的任务，比如质量控制、装配控制、过程控制和机器人操控等。在过去几年里，将人工智能融入机器视觉应用是工业机器视觉技术发展的主要加速器。在“未来的工厂”中，机器视觉和AI技术将是过程自动化和提高效率的关键组成部分。
机器视觉与AI的技术进步离不开芯片组的支持。新一代嵌入式芯片的功能更强大，成本合理，适用于处理图像和运行基于AI的机器视觉算法，可将深度学习训练时间从数周减少到数小时。
NXP的i.MX 95系列应用处理器将eIQ Neutron神经处理单元（NPU）、Arm Mali沉浸式3D图形处理、异构安全分区和网络功能组合在一起，可实现机器学习和先进的边缘应用。此外，i.MX95还集成了NXP的图像信号处理器（ISP），支持多种不同的图像传感器，从而实现工业、机器人、医疗和汽车等领域广泛的视觉应用。为此，NXP专门针对机器视觉应用对这个ISP进行了优化，能支持两个目标区域、两个曝光的HDR合成、先进降噪和边缘增强，支持彩色、单色和RGB-IR摄像头传感器。
在i.MX95 SoC中，主要通过集成的eIQ Neutron NPU实现机器视觉，在这里，NPU作为视觉处理通路的一部分，连通多个摄像头传感器和网络连接的智能摄像头。
图3：NXP i.MX95系统框图
（图源：NXP）
本文小结
工业机器视觉是使用相机、镜头和照明设备对制成品进行自动视觉检查。这是一种实时检测部件的方法，既快速又准确，它可以对高速生产线上的每一件产品进行拍摄和分析，通过复杂的算法来检查和评估在工业环境中获取的图像，确保100%的质量控制。它还可以自动化许多工业检查，包括缺陷和问题的目视检查、产品存在与否检查、产品类型验证、测量和产品代码读取等。今天，工业自动化正在以惊人的速度发展，机器视觉技术在其发展和扩张中发挥着至关重要的作用。
在刚刚过去几年里，融入了人工智能的机器视觉技术帮助许多机器人和自动驾驶汽车实现了几乎与人类相似的感知水平。通过使用大量先进的光学传感器，如高分辨率相机，这些机器人和汽车最终能够以自己的方式拥有“看”的能力。多种技术的融合和飞速发展使得新应用的潜力显著增加，这意味着未来的机器视觉技术将与更多的行业相关，所创建的解决方案也将更加通用和智能。
免责声明：本文为转载文章，转载此文目的在于传递更多信息，版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题，请联系小编进行处理。
推荐阅读：
上百万颗电芯实时监测管理，储能系统的“大脑”BMS有何过人之处？
与博世对话消费类MEMS传感器市场和未来
如何在传感器模块最小化同时保证更高的电源效率？
二合一的智能照明和联接方案
温达电子：智能家居连接器产品布局完整
