边缘智能的微成像系统软件，用于远程控制AI应用

鉴于这些毫米级成像系统设计的技术困难，该团队借鉴了现有的低功耗图像传感器、超低功耗处理器和混合信号视觉集成电路、低功耗无线通信、高效神经网络加速器以及优化边缘计算应用的机器学习算法。图像传感器层支持近像素运动检测的12位VGA图像捕获和运动触发的对子采样像素帧，最大速度为每秒170帧，而图像信号处理执行动态JPEG(解)压缩、光学黑色像素校准、去拜耳、RGB到YUV转换和场景变化检测。

远程边缘人工智能应用程序取决于嵌入式硬件设备的大小，它们具有所有的计算能力和能力来处理源头边缘数据。大型嵌入式人工智能加速器在有限的空间系统中面临着许多挑战，如突然和隐藏。

在一篇题为“用于智能边缘监控的毫米级超低功耗成像系统”的文章中，研究人员开发了一种微毫米级成像系统，具有深度学习和图像处理能力，适用于边缘应用，特别是家庭监控场景。该系统采用超低功耗IC垂直堆叠，采用特定动态行为的电源管理、分层事件检测和数据压缩相结合。

对于毫米系统，设计方法面临技术挑战，如设计高度有限的系统、能源预算和峰值功率限制、有限的数据存储、昂贵的无线通信、毫米镜头的非理想性和超低电源前端。

从毫米级尺寸系统开始，设计需要集成超低功耗IC并组装以减少占用空间。为了为毫米级系统供电，设计单元需要一个小电池来支持电源需求。由于空间有限的系统，成像系统的存储器数量有限，限制了图像数据存储和算法的复杂性。

鉴于这些毫米级成像系统设计的技术困难，该团队借鉴了现有的低功耗图像传感器、超低功耗处理器和混合信号视觉集成电路、低功耗无线通信、高效神经网络加速器以及优化边缘计算应用的机器学习算法。

现有研究的局限性包括排除边缘计算或不满足面积和功率需求。研究论文提出，完全集成的毫米级成像系统是“同类中的第一个”。

一种具有边缘智能的新型毫米级成像系统

该系统的尺寸仅为6.7×7×5mm，重量仅为460mg，采用150μm超低功耗集成电路的垂直堆叠设计。垂直堆叠方法允许更多的集成电路在较小的占位面积内相互连接。与传统的平面2D芯片到芯片连接相比。

该系统由一个基础层组成，它将多个功能硬件设备集成到一个IC芯片上，例如主控制器、电源管理单元和无线电IC。毫米级成像系统的核心是ArmCortex-M0处理器核心，具有16kbSRAM。电源管理单元从单个电池源生成多个电压域，以保持负载下的高转换效率。

下一个重要层是超低功耗图像传感器和图像信号处理。AON6780图像传感器层支持近像素运动检测的12位VGA图像捕获和运动触发的对子采样像素帧，最大速度为每秒170帧，而图像信号处理执行动态JPEG(解)压缩、光学黑色像素校准、去拜耳、RGB到YUV转换和场景变化检测。神经引擎提供1.5tops/w的性能，支持基于深度神经网络的帧分析。另一层包括超低泄漏闪存、能量收集器、太阳能电池、可充电锂电池和聚四氟乙烯管。

系统集成采用两块4层10×10×0.8mmPCB，正面用于导线键合，背面放置无源元件和太阳能电池层。这种毫米系统的代码开发具有挑战性，因此团队在外缘包含城堡形通孔，以暴露内部信号。

修改毫米级成像系统

电源管理是能量最小化技术的关键要素，因为基于DNN的在线图像传感器分析总是会产生巨大的功耗。这个过程需要计算存储在芯片内外的能量和数兆字节DNN参数。

在运动监控、图像捕捉和基于DNN的场景分析期间，动态节能模式(如闪存IC)设置为睡眠模式，仅消耗0.003μW。电源管理单元通过修改电流消耗、频率控制和上/下转换比来调整每个节点，最大限度地提高动态负载的效率。另一方面，分层事件检测(HED)算法用于删除不相关的事件，否则这些事件会消耗能量，特别是在卸载数据而不确定其对应用程序的价值时。

结合霍夫曼编码和其他几种方法的权重修剪、不均匀量化和卷积层量化权重，DNN的压缩率高达1.5位/权重。对于图像压缩，采用JPEG和H.264压缩方法，减少数据占用空间，最大限度地降低无线传输成本。

H.264帧中的压缩引擎将VGA帧的内存占用减少了23倍。然而，通过H.264压缩，系统需要比JPEG多138%的处理能量。其他方法是改变检测引擎，以实现与VGA帧相比的135倍压缩，并重建系统外部图像以减少无线数据传输。对于毫米级镜头和超低功耗前端的图像校正，团队提出了一个图像校正层，可以在ISP神经引擎(NE)上使用矩阵乘法和卷积等指令。

结论

本文提出了一种新型的毫米级成像系统，该系统集成了用于远程物联网和边缘应用的边缘智能，平均功耗为49.6μW，预期寿命为7天，无需充电。为了实现小尺寸，该系统使用超低功耗IC的垂直堆叠，并通过数据和能源管理方法管理内存和能源预算限制，通过社会技术和道德视角分析微型物联网智能成像系统对于下一步至关重要；我们邀请我们为未来的安全和隐私工作。