From Saturday, Nov 23rd 7:00 PM CST - Sunday, Nov 24th 7:45 AM CST, ni.com will undergo system upgrades that may result in temporary service interruption.
We appreciate your patience as we improve our online experience.
弥补ADAS/AD摄像头验证中的关键覆盖范围缺失
概览
H1 2023汽车期刊的部分内容
由于集成了满足功能安全要求所需的保护措施，对基于摄像头的高级驾驶辅助系统(ADAS)所使用的最终正式版软件进行测试非常困难。为了满足待测设备的有效性检查需求，并提供与试驾时类似的仿真行为，NI提供了专用的硬件和软件，可在三个不同的层面上仿真图像传感器功能，从而无需使用专用的测试模式软件来进行验证（也称为HIL模式)。
内容
ADAS摄像头验证为何具有挑战性
基于视觉的高级驾驶辅助系统是现代汽车不可或缺的一部分，并通过可视电磁频谱弥补了车辆的视觉盲区缺陷。它们提供了重要的自动驾驶功能，并通过基于物体检测和分类的车辆行驶路线自动规划来提高道路安全性。许多ADAS电子控制单元(ECU)的核心是ASIC加速神经网络(NN)对传感器输入的推断。Mobileye Global, Inc.为这些基于NN的子系统提供了较为广泛使用的芯片组。
对于汽车制造商和供应商来说，此类系统的验证和认证面临着新的挑战。从传统的质量保证方法来看，只有测试才能有效地验证基于NN的ADAS ECU。汽车在开始生产前的测试阶段需要大量的资金投入。 由于经济和可重复性原因，一种常见的方法是在基于实验室的环境中进行功能测试，在硬件在环(HIL)设置中集成相关ECU，同时仿真汽车总线的其余部分。然后，传感器激励通过数字路径注入ECU。
图1： ADAS摄像头系统的典型架构（简图）
负责汽车重要安全功能的ADAS ECU必须能够自我诊断故障，并以安全的方式（故障安全）放弃对车辆的控制。 因此，视觉ECU的任务是实时观察图像传感器的运行状态并验证所提供的视频流。
现代图像传感器提供了多种方法来确保与下游视频处理器之间的数据路径不出错：一些制造商在侧通道事务上启用了CRC校验和。视频流经过配置后可以包含图像中的活动计数器和配置状态快照。部分传感器还配有错误中断输出引脚。MIPI CSI2规范还在协议级别上对CRC保护和帧计数器进行了规定。
这些和其他保护措施可以确保自动驾驶车辆能够迅速将控制权交给驾驶员，以避免由于图像路径中的故障导致汽车按照原来的路线行驶。因此，只需将视频流或之前的记录注入ECU，就会触发故障安全机制。
这项挑战从一开始就很明确，显而易见的补救措施是完全关闭ECU软件运行状况监测和状态验证。 该状态通常称为视觉ECU的“HIL模式”，且Mobileye和其他供应商（如博世[Bosch]或Continental）也支持这种模式。虽然这种机制能够有效地支持感知层和应用软件测试，但却存在一个固有的缺点，即，测试所使用的软件版本并不是之后现场要部署的版本。因此，验证测试无法覆盖完整的测试范围，而缺失的部分将只出现在最终正式版软件中。
一种解决方案是对图像传感器进行逆向工程，并实时仿真图像传感器的行为，以支持最终正式版ECU软件测试。
如何使用正式版ECU软件启用ADAS摄像头验证
图2： 图像传感器和下游视觉组件的简化视图
图2展示了作为视频源的图像传感器和作为视频接收器的连接视觉组件的简化版概念模型。在逻辑层面上，数字图像由图像传感器生成，并传输到视觉组件加以使用。
每个传入的图像在转发到感知层之前都要进行分析。 平均亮度、直方图等特定的图像属性将馈送到负责调整图像传感器的控制模块，以便产生与对象分类相对应的适当曝光图像。
状态监测可提取活动计数器，并提取图像中嵌入的数据信息来验证传感器的配置状态。 如果不使用ECU“HIL模式”等预发布软件，该模块就难以在HIL环境中向ECU提供任何通用视频流。
注入系统需要实时仿真多个传感器子组件的行为，以避免触发视觉组件中的故障安全措施，并产生可靠的检测性能测试结果。
光学层的仿真包含由主控计算机生成传感器输入数据。开环回归测试会在DUT上回放类似的摄像头ECU先前记录的数据。使用可视化工具生成实时合成数据可以对场景探索、功能和性能测试进行闭环测试。生成的数据的质量与光学传感器模型的保真度直接相关。
在不同层面上，合成仿真中常见的光学特性如图3所示。
图3： 对光电路径的影响
在逻辑层，仿真工作主要包含在线数字图像处理。一些视觉系统可能要求传感器动态裁剪图像，并将读取窗口放置在活动像素数组上。带有滤色片的传感器可在不同的照明环境中提供单独的颜色通道放大功能，以调节白平衡。
入射光的强度有时可能超出光电二极管捕捉整个场景动态范围的能力，特别是在夜间。为了增加捕获的动态范围，现代传感器支持在曝光时间内进行多次模数转换。每次转换都会产生12位的亮度信息，然后在内部堆叠成最终20位的数字图像。为了节省带宽，可以使用动态可配置的非线性传递函数将20位图像压缩为12位或16位。
下游处理器可能会依赖传感器提供的图像统计数据来准确控制曝光时间。图像传感器可使用图像输出来生成动态可配置的直方图。
数字层由低级协议和电气参数构成。虽然这些也决定了ECU接口的PCB设计，但最终的输出帧速率由传感器内部的相关配置参数（包括MIPI CSI-2通信模块的在线配置和锁相环[PLL]生成的时钟速率）决定。 此外还必须提供来自寄存器文件的感应输出（例如，温度传感器和状态标志读数）。
实时嵌入式系统有严格的设计时间限制（延迟和吞吐量），在构建仪表接口时需要考虑这些限制。除了在功能上仿真图像传感器外，还必须非常小心地对请求做出响应，并在待测目标设备的时间限制内提供数据流。
NI的解决方案组合可解决上述所有问题，为ADAS/AD ECU提供了可定制的模块化测试系统（见图4）。
凭借强大的合作伙伴网络，除了最紧密集成的ECU外，NI可为其他所有ECU提供定制的仪表接口。
图像传感器仿真IP的实时内核是在专用的高性能可扩展硬件平台上实现的，该平台能够并行提供多个超高清视频流，满足现代汽车视觉系统的各类需求。此外，仿真内核能够有意地将错误插入到各个处理阶段，以实现对DUT中错误处理机制的测试覆盖。
在仿真方面，NI硬件为第三方软件仿真提供了可扩展性和开放性，这些软件仿真可以通过融合以太网数据链路上的双向高带宽RDMA连接到环路。通过调整HDMI数据源，可以兼容可选的第三方仿真工具。
结论
图4： 使用最终正式版ECU软件直接注入数据的NI HIL系统架构
总之，ADAS ECU作为对安全至关重要的系统，其所使用的状态监测保护措施使得视频注入成为一项非常重要的任务。为了满足ECU中的有效性检查，以及生成视频流来诱导感知层产生类似于真实试驾时的行为，必须使用复杂的多层实时图像传感器仿真模型。
NI对图像传感器的精密光学仿真和实时仿真可以全面验证全球当前乃至未来基于视觉的ADAS/AD ECU。NI解决方案可让您使用用于视觉ECU的最终正式版软件进行验证测试，这弥补了在使用预发布软件“HIL模式”时存在的测试覆盖范围缺失。