自动驾驶系统如何跨越LFM这道坎？

品慧电子讯：在数码相机和智能手机的推动下，相机技术已有了显著的进步。这在汽车应用上尤其具有挑战性，但单台备份摄像头的时代将不复存在，先进的驾驶员辅助系统(ADAS)和自动驾驶汽车使用的摄像头显著增加了分散在一辆车上的摄像头数量。在一个为拖车设计的消费者系统中，包含了19个摄像头，使用了先进的处理技术来隐藏拖车，暴露周围的交通状况。

翻译自——electronicdesign，作者Bill Wong与OmniVision汽车市场总监Andy Hanvey讨论了当今设计师们所面临的汽车成像方面的挑战和机遇。

在数码相机和智能手机的推动下，相机技术已有了显著的进步。这在汽车应用上尤其具有挑战性，但单台备份摄像头的时代将不复存在，先进的驾驶员辅助系统(ADAS)和自动驾驶汽车使用的摄像头显著增加了分散在一辆车上的摄像头数量。在一个为拖车设计的消费者系统中，包含了19个摄像头，使用了先进的处理技术来隐藏拖车，暴露周围的交通状况。

OmniVision的汽车市场总监Andy Hanvey

以下是两人谈话内容：

既然后视镜是强制性的，我们现在还能在其他什么地方看到部署在车辆上的摄像头，以及未来的车型有哪些新应用?

为了提高驾驶员的安全性和舒适性，车辆各处都安装了摄像头，包括环绕视图系统、ADAS应用程序和镜子更换。

正如你提到的，后视镜已经是强制安装，但是还有更多的要求要强制执行。下一个就会涉及ADAS和驾驶员监控系统(DMS)应用。这意味着，在北美和欧盟的所有车辆都必须配备前置ADAS摄像头。

此外，由于驾驶员注意力分散是造成事故的关键因素之一，为此欧盟要求从2022年开始在车辆上安装驾驶员监控摄像头。中国也在考虑类似的安全问题，为保险起见，他们最近宣布了一项强制性的国家标准，要求所有汽车要么安装仪表盘摄像头，要么安装事件数据记录器(EDR)。

这些新型汽车成像应用程序的设计者面临最严峻的技术挑战是机器视觉还是人类视觉?

机器视觉和人类视觉的一些问题是相似的。这两个应用程序都面临一些挑战，需要使用技术来提供高动态范围(HDR)、LED抑制闪烁(LFM)和通过缩小像素大小实现出色的微光性能。此外，在这两个应用领域对ASIL功能安全性的支持都很重要。

当然也有不同之处;例如，在自动驾驶应用中，保护图像传感器数据不受黑客攻击。因此，加密/身份验证功能非常重要。

OmniVision能够解决这些系统问题。我们的图像传感器和图像信号处理器(ISP)以LFM和HDR技术为特色，为自主应用进行了优化。我们还提供了一个传感器平台，可以为自主解决方案提供更快的上市时间，这是很关键的。

查看应用程序时，支持宽动态范围性能的能力非常重要。它可以通过两个芯片或一个SoC或者在ISP位于ECU中的多摄像机架构上，让一个图像传感器与摄像机中的ISP一起工作。OmniVision全面的图像传感器系列和ASIC产品组合使我们能够支持最广泛的架构。

此外，热性能不可忽视，这可能与图像传感器的暗电流(DC)和在所有产品中最小化的驱动有关。这对于在低光和高温下工作的机器视觉产品尤其重要。

LFM有哪些不同的方法? OmniVision如何帮助汽车设计师解决这个问题?

这个问题很复杂，必须采用多级方法。在不同的技术下可以实现，包括侧向溢流积分电容器（LOFIC）技术、斩波技术（添加介质以过滤图像信号），以及分离像素技术（捕捉图像，而不是顺序捕捉）。OmniVision已经测试了不同路线，目前正在对业界最小的分裂像素设计进行实验。

首先，在像素级，你需要捕捉LED(在时间曝光11毫秒内，LED在11毫秒周期内实现一次亮灭)。OmniVision使用像素拆分技术，通过使小光电二极管的灵敏度降低来捕获LED。其他技术包括需要额外的像素存储电容，但这些方法往往会有发热问题。

然而，捕捉LED只是其中一部分。另一部分是将数据以一种智能的方式组合在一起，最大化HDR和LFM。在过去，设计者被迫选择LFM或HDR，但是现在，使用OmniVision的HDR和LFM引擎(HALE)组合算法，“HDR and LFM Engine”的英文缩写，实现了LED闪烁抑制（LFM）和宽动态（HDR）的两者兼得。与其他方法相比，HALE还提供了高达25%的低功耗，同时确保在125°C的汽车温度范围内平稳运行。

在最高宽动态范围内捕捉图像是否重要，OmniVision如何在如此高的车温下实现？

这与实际生活中的LED亮度有关，从LED指示灯到前大灯，再到汽车上的指示灯都会涉及。这种覆盖范围最广，为汽车设计师提供了更多的系统灵活性，因此在整个汽车温度范围内操作至关重要。摄像头变得越来越小，就可以放置在更狭窄的空间里。此外，无论在阳光充足的亚利桑那州，冬季的奥斯陆还是雨天的伦敦，该相机都能在苛刻的照明条件下提供高质量的图像。倘若采用的技术有热依赖性系统设计者将需要做出更多的妥协。

当将LFM整合到前视ADAS和其他机器视觉系统中以实现自动驾驶时，他们还需要什么呢?

自主驾驶(AD)系统要求包括更高的分辨率、更高的动态范围、同时进行LFM、多色滤波阵列(CFA)和网络安全，这些都是我们客户提出的要求。由于分辨率增加了物体被识别的距离，所以在一个AD系统中拥有一个高分辨率的图像传感器是很重要的，这样可以更快地做出决定。

LFM技术是OmniVision具有重要经验的一个领域，它满足了这个应用领域中客户的需求。

监测驾驶员状态和机舱内乘客的设计挑战是什么? OmniVision如何解决这些问题?

对于DMS来说，它包括四个方面:全球快门(GS)、940nm波长的高近红外(NIR)量子效率(QE)、小尺寸和低功耗。OmniVision有全方位的GS图像传感器，从VGA到2MP都可以满足司机监控的需求。此外，GS图像传感器被集成为ADAS系统的一部分会是一大趋势

因此具有ASIL功能非常重要，我们的2MP GS平台是第一个添加ASIL功能的平台。OmniVision的Nyxel™近红外技术是为了保持夜视图像的空间分辨率而特别设计的，可以在低光条件下拍摄十分清晰的图像。

车舱内应用不同于DMS，因为它们不需要全局快门图像传感器，一个滚动快门就足够了。对于机舱监控，关键是能够提供RGB图像以供查看夜间增强图像，以及用于机器视觉处理的图像。为此，必须使用RGB-IR技术，该技术不仅提供出色的低光和近红外灵敏度，更具有高动态范围和先进的ASIL安全功能设计，减少伪影并提高整体系统可靠性。

如何看待这项技术在汽车上的应用?

OmniVision的Nyxel技术非常令人兴奋，它可以适当的改变汽车应用。将Nyxel添加到全局快门传感器上可以给DMS应用空间带来很大的好处，它可以在940nm时将QE从12%提高到40%，这是一个巨大的进步。这不仅可以降低系统中led的功耗，也给了系统设计者更大的灵活性。

Nyxel技术可以显著提高在可见光谱外近红外光下捕获驾驶员监控图像的能力。

名词解释：

1.ISP——图像信号处理器，无论是手机镜头、摄像机镜头还是监控镜头中都包含该元素；单以图像画质来说，ISP自身就是针对图像处理的元件，在加上图像降噪技术，那么自然会到达一个令安防用户满意的结果。在高清监控产品推进的过程中，ISP技术的革新起到了巨大的作用。该技术涵盖了增益控制、白平衡、噪声控制、曝光控制等技术。

2.LFM——LED闪烁危及交通安全

从路灯、交通灯，到车载照明，低功耗、长寿命、高可靠的LED正在快速取代传统照明方式。但LED在道路上的普遍使用，却带来“LED闪烁”现象。“LED闪烁”是由LED驱动方式而产生的现象，LED灯以交流方式驱动，驱动频率一般在90Hz以上，即最慢脉冲周期为11毫秒左右，LED在11毫秒周期内实现一次亮灭，为节能及延长使用寿命，占空比通常不超过50%，如果相机曝光时间较短（例如3毫秒），则有可能曝光时间正好对上LED被关灭期，这时候图像传感器抓到的就是LED灭掉的图像，如果是LED阵列，在这种情况下拍到的图像就是一部分亮，一部分暗，这就是“LED闪烁”现象。

人眼看不到LED闪烁现象，但随着摄像头在汽车当中应用不断拓展，车载图像模块越来越多遇到“LED闪烁”问题。

在高级驾驶辅助系统（ADAS）中，LED闪烁造成的危害更大。LED闪烁会导致系统无法正常检测电子路标与交通信号灯，无法区分转向灯与车尾灯。

3.疲劳驾驶预警系统（DMS)

疲劳驾驶预警系统就是指一旦驾驶者精神状态下滑或进入浅层睡眠，该系统会依据驾驶员精神状态指数分别给出：语音提示，振动提醒，电脉冲警示，警告驾驶员已经进入疲劳状态,需要休息,并同时自动记录相关数据,以便日后查阅，鉴定。其作用就是监视并提醒司机自身的疲劳状态，减少司机疲劳驾驶潜在危害。许多国家都比较重视疲劳驾驶预警系统的研究工作,早期的疲劳驾驶测评主要是从医学角度出发,借助医疗器件进行的。

而目前应用较多的 疲劳驾驶预警系统 （DMS）是基于驾驶员生理及其他非生理信号的变化进行采集、分析和处理，判断驾驶员状态是否处于疲劳、睡眠状态。基于图像处理的疲劳驾驶系统主要有以下几个模块组成：

系统最前端为图像采集模块，搭载图像传感器的摄像头将时刻进行图像采集，保证在各种环境，全天候都能实现驾驶员面部特征和肢体图像的采集。

达到及时性和准确性，无延迟的监控。