如何利用人工智能改善自动光学检测？
在制造业中，检测是必不可少的功能。视觉检测可确保产品符合其预期的功能和外观，并为制造商和客户带来重要利益。最明显的是，检测结果能够提供质量保证，可以通过产品标注或标签直接传达给客户，或者在制造工厂内记录，并作为其质量控制过程的一部分。如果产品从现场退回，检测报告还可以帮助进行故障排除，并可以帮助制造商处理任何索赔。
此外，在生产过程中识别出所有不合格物品可以帮助确定是否需要调整制造工艺或程序，检测结果可以帮助确定故障原因，例如，电子产品表面贴装机中的喷嘴堵塞，瓶装设备故障或标签机械未对准等等。实时识别缺陷可以做到立即停止生产，从而马上解决问题。越早发现质量问题，解决问题的成本就越低。业界经常引用一个“十倍规则”：产品开发阶段发现错误的成本比生产阶段低十倍，依次而行，生产阶段的错误成本比现场应用也低十倍。
从人工检测到AOI
通常对生产的每个产品都需要进行检测。经过训练的操作员可以人工进行检测，尤其是在处理简单产品或作为整体外观最终检测时更是如此。印刷电路板组件（PCBA）等一些应用可能需要放大设备，最小的功能尺寸（例如高密度IC互连和焊接在电路板上的01005大小SMD芯片）（见图1），都对检测人员的视觉敏感度（visual acuity）提出很大挑战。
图1：焊接在PCB上的表面贴装芯片。
但是，随着产品复杂性的提高，一些典型组件可能包含大量此类器件。检测员在进行检测并记录结果时，必须要克服视觉和节拍时间的双重挑战，可能导致人工检测不切实际。在某些情况下，例如高速灌装工艺，可能根本无法进行人工检测。
随着特征尺寸、复杂性和吞吐量方面的挑战越来越严峻，自动光学检测（AOI）成为确保对每个项目进行充分检测的唯一实用方法。
AOI包括图像传感，照明和计算子系统，它们协同工作以便捕获和分析图像。AOI系统可以将捕获的图像与参考图像进行比较，之后得以能够识别材料表面的缺陷、焊接缺陷或PCBA上元件缺失或放错位置等缺陷。或者，基于某些规则的系统会测量特征尺寸（例如组件本身或每个接头中焊料量），以确定“良好”（G）或“不良”（NG）状态。如果检测到缺陷，则机器设备可以隔离有缺陷物品，然后继续进行后续检测，或者暂停并警告操作员。
尽管AOI在复杂性、吞吐量存在，或两者兼而有之的情况下已经超过了人工检测，但是传统的图像处理系统和算法仍存在一些缺点，这些缺点在系统和软件开发以及在工厂车间进行设备安装时非常明显。
从传统图像处理到AI
图像识别的基本原理是将每个捕获的图像数字化，并应用各种滤镜来检测图案和特征。边缘检测滤镜通常用于检测图像中的对象。能够识别人类的算法可以应用坡度斜率检测（slope detection）来识别手臂、肩膀，、腿部等特征，该算法还需要检测这些被检测特征相对于彼此的方向，作为进一步的界定标准。
检测焊点的算法可以采用边缘检测和颜色检测来识别焊点，并检测焊点表面（fillet）的坡度是否在可接受范围内。光学系统可以使用不同颜色从不同角度照亮待测单元。如果焊点表面的斜率正确，则可能会反射出更大比例的绿色波长。如果有更多的红色波长或整个表面上呈现不断变化的颜色组合，则表示有较浅焊点表面，表明焊料量或焊球形成不足，表明在焊接过程中沾锡较差。
无论是在安全监控或汽车行人检测等应用中的人员识别，在社交媒体应用中的面部识别，还是在工业检测中进行缺陷检测等所有应用，传统的图像识别都面临着众多挑战。
定义规则并创建算法以检测和分类数字图像中的对象非常复杂。在工业检测中，开发可靠的算法既昂贵又费时。在检测PCB组件时，焊点的质量只是要检测的一个标准，还必须验证每个组件的存在，以及相对于阻焊层的（solder mask）位置和方向、组件的共面性以及不需要的物体（例如焊料飞溅在电路板表面上）的存在。为所有情况和所有例外创建规则几乎是不可能的。
微调算法和添加更多算法以覆盖其他更多情况，这是一项永无止境的任务，需要不断更新软件。每当行业中使用新产品（例如高级电子组件封装）时，都必须开发新算法以对其进行检测。
人工智能（AI）可以在一定程度上模仿人类将学到的经验应用到图像识别，从而能够应对无限变化带来的挑战。在AI总体概念下涵盖的各种计算结构中，卷积神经网络（CNN）通常用于图像识别。这些包括相互连接的人工神经元，并排列成层（见图2）。它们通常是深度神经网络，在输入和输出层之间包含多个内部或隐藏层。隐藏层对从前一层接收到的数据执行特定、严格定义的采样（pooling）和卷积计算。结果被发送到下一层，最终到达输出层，可表明是否已识别出所寻找的对象。
图2：CNN层。
在部署CNN之前，需要对其进行训练以识别特定对象。在此过程中，通过每个答案的正确或不正确来调整每个神经元在生成该答案中的重要性或权重，经过多次迭代，CNN可以识别出具有较高正确性的图像。在这一点上，可以认为它是经过训练，而冗余神经元可以删除，然后准备将神经网络部署为推理引擎，这或许是在云端实现，或许是在嵌入式计算平台上实现。
将两个领域融合在一起
AI可以为AOI设备的供应商和用户带来巨大优势。从供应商的角度来看，如果AI可以判断看到特定对象的几率，则可以简化算法开发。通过减少定义每个对象和相应可接受标准的工作量，有助于缩短新设备的上市时间，并减少持续的软件支持成本。对于用户而言，通过AI实现的增强型AOI可以简化检测系统设置、编程和微调“良好” /“不良”警报的阈值。
AI现在正在进入AOI设备市场。一个范例是AAEON与AOI供应商合作伙伴共同创建，用于AI推理的嵌入式工业机器视觉计算平台和多处理器扩展卡。该平台可使AOI用于检测多个产品线，而无需重新配置。与传统系统相比，它具有更高的准确性和更少的误报，还可以快速接受培训以检测新产品或识别以前未知的缺陷。
另一个范例是用于PCB组件检测的MEK（Marantz）ISO-Spector M1A。该系统基于AI，可学习组装和回流PCB的生产过程值，并基于数百个预设参数来识别缺陷。通过处理一些典型的挑战，例如确定最佳光照水平，摄像头位置，每个视图的摄像头设置以帮助缺陷检测，以及调整检测阈值以确保捕获缺陷单元而不会进行过多的错误NG，能够减少编程中涉及的人为因素。 AI能够比人类专家快得多地自动调整多个参数，并以显著降低的错误风险来做出决策，无论AOI系统是由初学者还是由专家进行编程，都可以实现一致的检测结果。
中国制造商VCTA亦将AI添加到了其用于PCB制造的AOI系统中，从而可提供更强的操作能力：降低了废品率，提高了产能和质量。
AOI系统架构
此类系统的特性凸显了AI可为包括安全和零售在内许多领域的检测应用所带来的优势。在需要搜索图像以检测对象和特征或识别个人等特征的应用场景，AI可以简化设置和编程，消除人为错误，最小化延迟并能够支持更好的决策。
为了帮助开发人员充分利用该技术，摄像头模块现已进入市场，并具备软件支持以简化AI开发，这其中的范例包括Basler AI视觉方案套件（Vision Solution Kit）。该套件（见图3）可与1300万像素Basler dart（飞镖)摄像头和用于配置和操作相机的pylon摄像头软件套件一起使用。 Basler云端可提供用于对象检测和人员识别，且经过预先训练的机器学习模型，可在套件上进行部署。开发人员还可以自由地将自己的模型用于任何应用。
图3：Basler AI视觉解决方案套件。
Intel RealSense D400立体视觉深度相机系统集成了RealSense D4视觉处理器、一个立体深度模块、一个具有彩色图像信号处理功能的RGB传感器和惯性测量单元，可满足诸如机器人视觉、无人机、虚拟现实和家庭安全等应用的要求。深度模块将左右成像器与可选红外投影仪结合在一起，此红外投影仪可投射不可见的静态红外图案，以提高低纹理应用中的景深精度。
RealSense深度摄像头在与TensorFlow或OCV等机器学习平台一起使用时，可为对象检测和分类等应用带来更多价值。摄像头模块的单像素深度信息有助于解决其他挑战，例如估算视野中物体的尺寸。可通过Intel RealSense网站的链接获得相关指导教程和示例代码，其中给出了如何达到此目的。
结论
生产线上的AOI能够以和生产线匹配的速度运行，并且已经在支持各行各业的制造商提高质量保证，保证生产率，并不断改进生产流程。在AI基础上的进一步提升是AOI的未来发展方向，为光学检测应用而训练的算法能够带来提高决策能力的额外好处，可减少操作员的参与，简化编程，并可提供更强大的性能，从而能够提高缺陷检测的确定性，同时减少误报。
开发人员和创客可以开始探索如何使用来自领先制造商，并由贸泽电子提供的AI摄像头套件来加强各种机器视觉应用。
