​ADAS/AD 카메라 검증의 중요한 범위 격차 해소

비전 기반 첨단 운전자 보조 시스템은 현대식 차량에서 필수이며 가시적인 전자기 스펙트럼에서 차량의 시야를 보완합니다. 중요한 자율 주행 기능을 제공하여 객체 감지와 분류를 기반으로 하는 자동 차량 궤적 계획을 통해 도로의 안전성을 높입니다. 많은 ADAS 전자 제어 장치 (ECU)의 핵심에는 입력된 감각을 대상으로 신경망 (NN) 추론을 가속화하는 ASIC가 있습니다. Mobileye Global, Inc.는 이러한 NN 기반 서브시스템에 가장 널리 사용되는 칩셋 중 하나를 제공합니다.

자동차 제조업체와 공급업체에게 이러한 시스템의 검증과 승인은 새로운 도전 과제입니다. 기존의 품질 보증 방법은 테스트만을 NN 기반 ADAS ECU에 효과적으로 적용할 수 있었습니다. 차량 생산을 시작하기 전에 테스트 단계에서 많은 투자가 이루어집니다. 경제성과 재현성 때문에 널리 사용되는 접근 방식 중 하나는 랩 기반 환경에서 기능을 테스트하는 것으로, HIL (hardware-in-the-loop) 설정에서 관련 ECU를 클러스터링하면서 나머지 차량 버스를 시뮬레이션하는 것입니다. 그런 다음 센서 자극이 디지털 경로를 통해 ECU에 주입됩니다.

​그림 1: ADAS 카메라 시스템의 일반적인 아키텍처 (단순화)

차량 기능에서 중요한 안전을 담당하는 ADAS ECU는 결함을 자가 진단하고 안전한 방식으로 차량의 제어를 넘겨야 합니다 (페일 세이프). 따라서 비전 ECU의 경우 실시간으로 이미지 센서의 작동 상태를 관찰하고 제공된 비디오 스트림을 검증해야 합니다.

최신 이미지 센서를 통해 오류로부터 다운스트림 비디오 프로세서와의 데이터 경로를 보호할 수 있는 여러 가지 방법을 확보할 수 있습니다. 일부 제조업체는 부채널 트랜잭션에서 CRC 체크섬을 활성화합니다. 이미지에 활성 카운터와 설정 상태 스냅샷을 포함하도록 비디오 스트림을 설정할 수 있습니다. 일부 센서에는 ERROR 인터럽트 출력 핀이 포함되어 있습니다. MIPI CSI2 사양은 프로토콜 레벨에서 CRC 가드와 프레임 카운터를 추가로 제공합니다.

자율주행 차량이 신속하게 운전자에게 제어권을 넘겨주어 이미지 경로 결함으로 발생하는 없는 진로를 따르지 않도록 하기 위해 이러한 여러 안전 장치가 사용됩니다. 따라서 비디오 스트림 또는 이전 레코딩을 ECU에 삽입하기만 하면 안전 장치 메커니즘이 트리거됩니다.

이 문제는 첫날부터 알려졌으며 확실한 해결책은 ECU 소프트웨어 상태 모니터링과 상태 검증을 모두 끄는 것이었습니다. 이 상태는 비전 ECU의 경우 "HIL 모드"로 더 잘 알려져 있으며 Mobileye와 Bosch 또는 Continental과 같은 다른 공급업체에서도 이를 지원합니다. 이는 인식 계층과 어플리케이션 소프트웨어의 테스트를 가능하게 만드는 메커니즘이지만, 이 접근 방식의 근본적인 문제는 테스트 중인 소프트웨어 릴리스가 나중에 현장에 배포될 소프트웨어가 아니라는 점입니다. 따라서 검증 테스트는 테스트 범위의 일부를 놓치게 되는데, 이는 생산 소프트웨어에만 존재합니다.

이때 한 가지 솔루션은 이미지 센서 동작을 실시간으로 역 엔지니어링하고 에뮬레이션하여 생산 출시 ECU 소프트웨어 테스트를 가능하게 만드는 것입니다.

​그림 2: 이미지 센서와 다운스트림 비전 구성요의 단순화된 보기

그림 2는 비디오 소스로 작동하는 이미지 센서와 비디오 싱크로 작동하는 연결된 비전 구성요소의 단순화된 개념 모델을 보여줍니다. 논리적 수준에서 디지털 이미지는 이미지 센서에서 생성되고 비전 구성요소에서 사용됩니다.

각 수신 이미지는 인식 계층으로 전달되기 전에 분석됩니다. 평균 밝기, 히스토그램 등과 같은 특정 이미지 속성은 이미지 센서를 조정하여 객체 분류에 적합한 적절한 노출 이미지를 생성하는 제어 모듈에 입력됩니다.

상태 모니터링은 활성화된 카운터를 추출하고 이미지에 포함된 데이터에서 정보를 추출하여 센서의 설정 상태를 검증합니다. 이 모듈을 사용하면 ECU "HIL 모드"가 포함된 출시 전 소프트웨어를 사용하지 않고 HIL 환경에서 ECU에 일반적인 비디오 스트림을 제공할 수 없습니다.

주입 시스템은 여러 센서 하위 구성요소의 동작을 실시간으로 에뮬레이션해야 합니다. 그래야 비전 구성요소에서 페일 세이프가 트리거되는 것을 막고 신뢰할 수 있는 감지 성능 테스트 결과를 얻을 수 있습니다.

광학 계층의 시뮬레이션은 센서 입력 데이터를 생성하는 호스트 컴퓨터의 영역입니다. 개루프 회귀 테스트에서는 유사한 카메라 ECU의 이전 기록이 DUT로 재생됩니다. 시각화 도구를 사용하여 실시간 합성 데이터를 생성하면 시나리오 탐색, 기능, 성능 테스트를 위한 폐루프 테스트가 가능합니다. 생성된 데이터의 품질은 광학 센서 모델의 정확도와 직접적으로 연결됩니다.

그림 3은 합성 시뮬레이션에서 다양한 차수로 일반적으로 다루어지는 광학 속성을 보여줍니다.

​그림 3: 광-전기 경로에 미치는 영향

논리 계층에서 대부분의 에뮬레이션 작업은 일반적으로 온라인 디지털 이미지를 조작하여 이루어집니다. 일부 비전 시스템을 통해 센서가 이미지를 동적으로 자르고 활성화된 픽셀 배열 전체에 걸쳐 판독 창을 배치할 수 있습니다. 컬러 필터가 있는 센서는 조명이 다양한 환경에서도 화이트 밸런스를 조정하기 위해 개별적으로 컬러 채널을 증폭합니다.

입사광의 강도는 특히 야간에 장면의 모든 동적 범위를 캡처하는 포토다이오드 용량을 초과할 수 있습니다. 최신 센서는 캡처된 동적 범위를 높이기 위해 노출 시간 동안 아날로그-디지털 변환을 여러 번 허용합니다. 각 개별 변환은 12비트의 밝기 정보를 생성하며 이 정보는 내부에 누적되어 최종적으로 20비트의 디지털 이미지가 됩니다. 그런 다음 대역폭을 절약하기 위해 20비트 이미지를 동적으로 설정 가능한 비선형 전달 함수를 사용하여 12비트 또는 16비트로 압축할 수 있습니다.

다운스트림 프로세서는 센서를 통해 얻는 이미지 통계에 따라 노출 시간을 올바르게 제어할 수 있습니다. 이미지 센서는 이미지 출력을 사용하여 동적으로 설정 가능한 히스토그램을 생성할 수 있습니다.

디지털 계층은 하위 레벨 프로토콜과 전기적 파라미터로 형성됩니다. 이들은 또한 ECU 인터페이스의 PCB 설계애 영향을 미치지만 센서 내부의 관련 설정 파라미터에는 MIPI CSI-2 통신 모듈의 온라인 설정과 PLL (Phase-Lock Loop)로 생성된 클럭 속도가 포함되어 궁극적으로 출력 프레임 속도를 구동합니다. 또한 레지스터 파일에서 온도 센서와 상태 플래그 판독값 등 감지 가능한 출력이 제공되어야 합니다.

리얼타임 임베디드 시스템에는 계측 인터페이스를 구축할 때 따라야 하는 엄격한 설계 타이밍 제약 (지연 시간과 처리량)이 있습니다. 이미지 센서를 기능적으로 에뮬레이팅하는 것 외에도 테스트 대상 디바이스의 타이밍 제약 내에서 요청에 반응하고 데이터 스트림을 제공하는 데 각별히 주의해야 합니다.

NI의 솔루션 포트폴리오는 앞서 언급한 모든 주제를 아우르며 ADAS/AD ECU를 위한 맞춤형 모듈 테스트 시스템을 제공합니다 (그림 4 참조).

NI는 강력한 파트너 네트워크를 활용하여 매우 긴밀하게 통합된 ECU를 제외한 모든 ECU에 맞춤형 계측 인터페이스를 제공할 수 있습니다.

이미지 센서 에뮬레이션 IP의 리얼타임 코어는 여러 UHD 비디오 스트림을 병렬로 제공할 수 있는 확장 가능한 전용 고성능 하드웨어 플랫폼에서 구현되며 최신 차량 비전 시스템의 요구사항을 충족합니다. 또한 에뮬레이션 코어는 다양한 처리 단계에 의도적으로 결함을 주입하여 DUT의 에러 처리 메커니즘을 테스트할 수 있습니다.

시뮬레이션 측면에서 보면 NI 하드웨어는 확장성과 개방성이 뛰어나 양방향 고대역폭 RDMA over Converged Ethernet 데이터 링크를 통해 루프에 타사 소프트웨어 시뮬레이션을 연결할 수 있습니다. 옵션인 타사 시뮬레이션 도구와의 호환성은 HDMI 데이터 소스를 적용하여 실현합니다.

​그림 4: 생산 릴리스 ECU 소프트웨어를 사용한 데이터 직접 주입을 위한 NI HIL 시스템 아키텍처

요약하면 안전필수 시스템인 ADAS ECU는 상태 모니터링 안전 장치를 사용하여 비디오 주입을 간단하게 만듭니다. 리얼타임의 정교한 다계층 이미지 센서 에뮬레이션 모델을 사용하여 ECU의 유효성 검사를 충족하고 실제 테스트 주행과 비슷한 인식 계층에서 동작을 이끌어내는 비디오 스트림을 생성해야 합니다.

이미지 센서를 위한 NI의 정교한 광학 시뮬레이션과 리얼타임 에뮬레이션을 사용하면 전 세계적으로 현재와 미래의 비전 기반 ADAS/AD ECU를 종합적으로 검증할 수 있습니다. NI 솔루션을 사용하면 비전 ECU용 생산 소프트웨어를 기반으로 검증 테스트를 진행할 수 있으며 이는 출시 전 소프트웨어를 사용하여 "HIL 모드"가 도입된 이후 나타난 범위 격차를 해소합니다.

• NI Automotive Journal에서 더 많은 내용 읽기
• NI가 ADAS/AD 검증을 혁신한 방법 자세히 알아보기
• ECU 기능 테스트 간소화 방법 자세히 살펴보기
• 왼쪽으로 이동: 자동차 검증 테스트의 진화