시프트 레프트: 자동차 검증 테스트의 진화

자동차의 과거는 기계이지만 미래는 소프트웨어입니다. 현대의 자동차에서는 소프트웨어가 주요 역할을 맡고 있지만, 업계에서는 프로토타입 차량 테스트에 계속해서 막대한 투자를 하고 있습니다. 이것은 안전 관점에서 필요할지도 모르지만, 비용, 늦은 오류 감지 및 반복성 부족으로 인해 실제 조건에서 설계를 검증하는 것은 거의 불가능합니다.

이러한 한계로 인해 기업은 처음부터 최상의 상태로 물리적 프로토타입과 최종 설계를 얻기 위해 노력합니다. 자동차 OEM은 V 다이어그램을 수정하여 개발 및 테스트 초기의 작업량을 늘리고 가상 프로토타입(그림 1)을 더 많이 활용하여 비용과 재작업 부담을 크게 줄이고 개발 속도를 높이고 있습니다. 이를 통해 프로세스 초기에 설계, 개발 및 검증 그룹 간의 긴밀한 협업이 용이해집니다.

^{그림 1. 빠른 테스트 반복을 위해 소프트웨어와 데이터 툴체인을 사용하여 재작업을 줄이고 개발 초기의 작업량을 늘리십시오.}

그림 1의 이중 V로 이어지는 초기 부하 증가처럼, 기업에서는 "V를 좁히거나" "왼쪽으로 이동"하려고 할 수도 있습니다. 그러나 설계 프로세스와는 무관하게, 모든 기업에서 시뮬레이션 및 실험실 기술을 사용하여 더 안전하고 빠르며 저렴한 가상 세계에서 테스트 범위를 확대합니다. 2018년에 연구원들은 자율 주행 기능 테스트 케이스를 가상 및 물리적으로 분할함으로써 실제 상황에서만 테스트하는 것과 비교하여 상당한 비용 절감을 달성했다는 사실을 발견했습니다. ¹ 이 경우 연구원들은 최대 90%의 비용 절감을 예상했습니다.

자율성에 초점을 맞추고 소프트웨어 테스트 전문성을 보유한 Waymo와 같은 신흥 자동차 회사에게는 가상 시뮬레이션으로의 전환은 거의 본능적인 것입니다. 경험을 바탕으로, 이러한 회사는 시뮬레이션 중에 더 많은 테스트를 수행하면 다음과 같은 결과를 얻을 수 있다는 것을 알고 있습니다.

• 테스트 범위 증가, 시간 단위당 더 많은 테스트 케이스 및 시나리오 수행
• 테스트 시나리오 및 조건에 더 많은 오류 사례를 추가하여 신뢰성 향상 
• 높은 자동화로 인한 비용 절감 및 물리적 테스트 대비 총비용 절감
• 더 나은 반복성 덕분에 더 나은 제품 특성화 및 개선된 추적성
   

모든 자동차 회사가 가상 프로토타입을 통해 이 정도의 이익을 얻을 수 있는데, 왜 가상 프로토타입을 더 많이 사용하지 않을까요?

초기 부하형 테스트로 전환하기 위해 확립된 프로세스는 없지만, 인력, 프로세스 및 기술과 관련된 몇 가지 복잡하고 상호 관련된 과제는 있습니다. 이러한 과제 가운데는 기회도 있습니다. 그러나 이러한 기회를 검토하기 전에 각 과제를 정의해 봅시다. 

사람 — 기술 및 교육, 그리고 조직이 지속적인 가상 및 실험실 기반 테스트와 통합을 지원하는 방법, 그룹 간의 내부 조정, 공급업체 및 공동 작업자를 포함하는 외부 조정과 관련됩니다.  

프로세스 — 가상, 실험실 및 실제 테스트를 상호 연관시키는 자동화된 테스트 관리 기술 및 방법을 사용하여 테스트할 대상과 시기를 포함합니다. 동의가 필요한 이러한 방법으로 위에서 언급한 기술과 교육을 활용하여 신뢰성, 예산 또는 테스트 범위를 희생하지 않고 개발 및 테스트 프로세스를 가속화할 수 있습니다. 프로세스에는 ISO-26262와 같은 안전 표준과 기존 및 향후 규정도 포함됩니다. 

기술 — 기술 세트 및 프로세스와 맞는 도구를 뜻합니다. 테스터는 기술을 통해 X-in-the-loop(model-in-the-loop 및 software-in-the-loop) 테스트를 수행하고 HIL(hardware-in-the-loop) 시스템 또는 실험실 테스트로 테스트를 가져옵니다. 기술은 단일 구성 요소 또는 도메인에서 전체 차량의 실제 테스트에 이르기까지 전체 스펙트럼에 걸쳐 있습니다. 

이 세 가지 벡터와 관련 구성 요소는 완전한 집중력을 요구할 정도로 복잡합니다. 이 세 가지 사이에서 적절한 균형을 이루려면 기존 상황을 평가하고 비즈니스 목표에 맞게 최적화할 변수 또는 프로세스를 결정하는 것이 좋습니다. 

하지만 여기서는 (단일 벡터만 다루는 것이 테스트 문제를 극복하는 데 충분하지 않다는 점을 인정하면서) 기술과 그것이 어떻게 자신감 있는 초기 부하형 테스트에 영향을 미치는지에 초점을 맞출 것입니다. 

​그림 2에는 설계와 테스트가 수행되는 위치(가상, 실험실, 물리적)에 따라 전통적인 표현이 분리된 모습이 나와 있습니다. 이를 분리하면 테스트를 더 일찍 실행할 기회를 찾아내고, 올바른 위치와 시간에 테스트를 반복하고, 가능한 한 효과적으로 물리적 테스트를 수행할 수 있습니다. 

^{그림 2. V 다이어그램을 확장하면 테스트가 이뤄지는 위치를 알 수 있어 왼쪽으로 이동할 기회를 식별하는 데 도움이 됩니다.}

분명히, 우리가 V 다이어그램에서 더 오른쪽 위로 갈수록 식별된 결함의 복잡성과 타이밍이 개발에 부정적인 영향을 미칠 수 있습니다. 그러나 테스트 환경이 주요 변수에 영향을 미친다는 점을 기억하십시오(그림 3). 요약하면, 왼쪽에서 포괄적으로 강력하게 테스트하면 똑같이 높은 테스트 범위를 갖는 실제 시험으로 이어집니다.

^{그림 3. 이 연속체는 여러 단계에서 테스트할 때의 상충점과 이점을 보여줍니다.2}

이제 V 다이어그램의 왼쪽에서 기술이 이동에 도움이 되고 테스트를 증가시킬 수 있는 몇 가지 영역을 살펴보겠습니다.

테스트 최적화는 V의 왼쪽에 부하를 늘리고 실험실 및 물리적 세계뿐만 아니라 모든 도메인에서 효율성을 높이려고 할 때 유용합니다. 이 순간이 바로 기술의 강점과 약점을 드러내는 순간입니다.  

전통적으로 테스트 공급업체는 시뮬레이션, 실험실 또는 물리적 테스트 등, 한 영역에서 최고가 되는 데 주로 초점을 두었지, 세 가지 모두를 다루려고 하지는 않았습니다. 소프트웨어를 통해 연결된 모듈식 하드웨어 접근 방식을 통해 테스트를 개선할 때는 다음 세 영역을 최적화하는 것이 도움이 됩니다. 

1. 테스트 구성요소 재사용  

구성요소를 재사용하면 비용 측면에서 이점이 있지만, 사실 시간을 절약할 수 있다는 점에서 가치 있는 것이며 또한 절대적으로 소프트웨어를 중심으로 합니다. V 다이어그램 단계 간의 재작업을 최소화함으로써 보다 통합된 설계 및 테스트를 달성할 수 있습니다.  

하지만 실제로는 공급업체의 갈등, 조직이 구성되거나 폐쇄적으로 운영되거나 평가되는 방식, 그리고 기술 등 많은 문제가 발생합니다. 하지만 엔지니어가 구성요소 테스트에서 시스템과 통합 테스트에 이르기까지, 다양한 루프 내(in-the-loop) 단계에서 테스트 모듈을 수행할 수 있게 하는 올바른 테스트 아키텍처를 통합하면 되므로 기술 문제는 극복하기가 더 쉽습니다.  

개방형 테스트 시스템과 테스트 개발 소프트웨어 아키텍처를 사용하면 동일한 제품에 대해 작업하는 그룹 내에서뿐만 아니라 연속적으로 개발된 제품 사이에서 테스트 케이스, 장비 및 엔지니어링 개발 내용을 재사용할 수 있습니다. Volvo의 사례는 어떻게 올바른 아키텍처와 기술이 배송 날짜, 품질 표준 및 예산 요구 사항을 충족할 수 있도록 미래의 변화에도 안정적인 테스트 시스템을 구축하는지 보여줍니다. Volvo는 여러 공급업체의 제품을 효율적으로 통합하고 기존 구성요소를 재사용했으며, 향후 요구 사항에 대비할 수 있도록 시스템을 유연하게 만들었습니다. 전체 시스템을 매우 원활하게 설치할 수 있어, 제한된 리소스로 세계 최고 수준의 품질을 적시에 적절한 비용으로 제공할 수 있었습니다. 

2. 더 나은 데이터 사용

왼쪽으로 이동하는 경우 데이터가 극복해야 할 또 다른 과제가 되지 않고 이동에 유리하게 작용하도록 만들어야 합니다. 이는 CASE에서 특히 중요합니다. 테스트 데이터의 양이 폭발적으로 증가하여 더욱 데이터 중심적인 조직이 되어야 하기 때문입니다.  

기술 및 방법론의 한계로 인해 테스트 관련 데이터의 일부(테스트 후에는 이전 테스트 단계로 다시 연결되거나 테스트 인텔리전스로서 향후 테스트 단계에 전달되는 경우가 거의 없음)만 분석하는 것이 일반적입니다. 그러나 Jaguar Land Rover는 분석 향상을 위해 데이터 관리를 자동화하여 테스트 재실행을 크게 줄이고 물리적 테스트에 이르기까지 비용 및 테스트 신뢰성 이점을 제공했습니다. 

데이터를 사용해 더 일찍 테스트하면 다음과 같은 이점도 있습니다.

• 새로운 기술, 전에 테스트한 적 없는 기술 또는 문서화된 기술(예: 자율성)을 테스트할 때 점점 더 중요해지는 최상의 시뮬레이션 및 통계 모델링을 제공함
• 테스트 케이스 생성을 개선하고 자동화하여 불필요한 테스트 재실행을 없애고 추적 가능한 결과로 테스트 범위를 늘림
• 설계에서 테스트 결과에 이르기까지, 모든 제품을 엄격하게 추적하여 위험과 최종적인 실패(또는 리콜)로부터 보호함
• 가상, 실험실 및 물리적 환경에서 더 넓고 다각적이며, 다중 프로세스 기반의 테스트 보기를 지원하여 테스트 범위를 더 잘 이해할 수 있도록 도와줌
• 테스트 및 개발 투자 결정(자본 지출 및 운영 비용)을 지원함
• 인공 지능, 머신 러닝 및 기타 산업 공정 기술을 진정으로 활용하기 위한 첫걸음이 됨
   

그리고 아마도 가장 중요한 것은 데이터를 사용하여 특정 제품에 대해 작업하는 그룹 간의 의사소통을 원활하게 함으로써 의사 결정, 협업 및 궤도 수정이 빨라진다는 점일 것입니다. 

3. 시작점에 대한 이해 

여느 여정과 마찬가지로, 출발점은 목적지만큼이나 중요합니다. 현재 테스트가 어떻게 진행되고 있는지 이해하면 테스트가 수행될 수 있는 간격을 발견하고 이러한 간격을 좁히는 것이 회사에 어떤 도움이 되는지 파악할 수 있습니다.  

기본 개념은 간단합니다. 그림 4에 나타낸 것처럼, 위험 영역의 재작업에서 벗어나십시오. 

^{그림 4. 여러 단계에서 재작업하면 시간과 자원 낭비가 불균형하게 증가하는 위험 지역에 놓일 수 있습니다.}

그러나 이는 기업이 업계 모범 사례에 대한 적절한 이해와 함께 자기 비판적, 다학문적, 데이터 중심적이어야 하므로, 매우 어렵고 혼자서 수행하기는 더 어려울 때가 많습니다. 다행스럽게도 광범위한 경험이 있는 NI와 같은 컨설팅 서비스를 도입하면 외부의 다각화된 다중 벡터(사람, 프로세스 및 기술)를 갖는 관점을 받아들여 가치 있는 발견을 이끌어내고 궁극적으로는 왼쪽으로의 이동을 위한 실행 계획을 만들 수 있습니다.

자체 평가를 시작하려면 테스트 시나리오 균형에서의 현재 위치를 고려하십시오. 시뮬레이션, HIL, 재생 및 이동 중 테스트에 얼마나 많이 테스트하고 있으며, 어디에서/어떻게 투자를 최적화할 수 있겠습니까? 이 질문에 답하기가 어렵다는 것은 시뮬레이션과 HIL 테스트를 강조하면 테스팅의 효과를 향상할 수 있다는 뜻입니다. 

잠재적인 구현 과제에 너무 압도되어 조치를 취하지 못할 수도 있다는 것은 이해할 수 있지만, 아무것도 하지 않았을 때의 비용도 높다는 점을 고려하십시오. 명확한 전략으로 구조화된 접근 방식을 만들지 않으면 항상 해오던 방식으로만 일하게 될 위험이 있습니다. 물론 그러면 결과 역시 똑같을 뿐입니다. 기존 프로세스를 배치하고 모든 최적화 후보를 정의하고 단계를 처리하는 순서를 전략적으로 계획하면(성공적인 핵심 성과 지표 개요와 함께) 성공 가능성을 즉각적으로, 또 장기적으로 높일 수 있습니다. 

우리는 계속해서 사람과 프로세스라는 과제와 전략을 탐구하겠지만, 현재로서는 기술로 테스트를 왼쪽으로 이동시키는 방법을 이해하는 것이 테스트 진화 여정의 첫 번째 이정표입니다. NI는 테스트 개선에 도움이 되는 팀, 지식, 기술을 보유하고 있어 자율 주행 차량에 생명을 불어넣을 수 있도록 돕고 있습니다.

다음 단계

• NI 방법론 컨설팅 서비스에 참여
• NI ADAS HIL 솔루션에 대해 알아보기
• 자율 주행 차량용 지각 및 센서 융합 시스템 테스트에 대해 알아보기