Shift Left: La evolución de las pruebas de validación automotriz

Los vehículos tienen un pasado mecánico y un futuro de software. A pesar de la función principal del software en los automóviles modernos, la industria continúa invirtiendo fuertemente en pruebas de vehículos prototipo. Si bien esto puede ser necesario desde el punto de vista de la seguridad, es casi imposible validar diseños en condiciones reales debido al costo, la detección tardía de las fallas y la falta de repetibilidad.

Debido a estas limitaciones, las compañías se esfuerzan por obtener ese prototipo físico, y el diseño finalizado, en el mejor estado posible desde el principio. Los fabricantes de equipos originales (OEM) están modificando el diagrama V para realizar pruebas y desarrollo en etapas iniciales y utilizan cada vez más prototipos virtuales (Figura 1), lo que reduce significativamente el costo y la carga de reelaboración y acelera el desarrollo. Esto permite una colaboración más estrecha entre los grupos de diseño, desarrollo y validación al principio del proceso.

^{Figura 1. Reduzca la reelaboración y el desarrollo en etapas iniciales utilizando herramientas de datos y software para iteraciones de prueba rápidas.}

De manera similar al enfoque de etapas iniciales que conduce a la doble V en la Figura 1, las compañías pueden intentar "reducir la V" o un enfoque “shift left”; sin embargo, sin importar el proceso de diseño, todos recurren a técnicas de laboratorio y simulación para aumentar la cobertura de las pruebas en un mundo virtual más seguro, rápido y menos costoso. En 2018, los investigadores encontraron que, al dividir los casos de prueba de la función de conducción automatizada en virtuales y físicos, lograron ahorros bastante sustanciales, en comparación con las pruebas que se realizan únicamente en situaciones reales. ¹ En este caso, los investigadores estimaron una reducción de costos de hasta un 90%.

El cambio hacia la simulación virtual es casi instintivo para las compañías automotrices emergentes, como Waymo, que se centran en la autonomía y tienen experiencia en pruebas de software. Según la experiencia, estas compañías saben que realizar pruebas durante la simulación conduce a:

• Mayor cobertura de la prueba, realizando más casos de prueba y escenarios por unidad de tiempo
• Mayor fiabilidad al agregar más casos de falla a los escenarios y condiciones de la prueba 
• Menor costo gracias a la alta automatización y menor costo total en comparación con la prueba física
• Más repetibilidad, lo que permite a una mejor caracterización del producto y una mejor trazabilidad.
   

Con todo lo que las compañías automotrices pueden ganar con los prototipos virtuales, ¿por qué no es más común?

Si bien no existe un proceso establecido para hacer el cambio a las pruebas en etapas iniciales, existen varios desafíos complejos e interrelacionados que involucran a personas, procesos y tecnología. Dentro de estos desafíos hay oportunidades. Pero antes de examinar esas oportunidades, vamos a definir cada desafío: 

Personas—Esto se relaciona con las habilidades y la capacitación y cómo una organización respalda las pruebas y la integración continuas, virtuales y basadas en laboratorio, así como la alineación interna entre grupos y la alineación externa para incluir proveedores y colaboradores.  

Proceso— El proceso implica qué probar y cuándo, utilizando técnicas y métodos automatizados de administración de pruebas que correlacionan las pruebas virtuales, de laboratorio y del mundo real. Estos métodos, que requieren aceptación, utilizan las habilidades y la capacitación mencionadas anteriormente para acelerar los procesos de desarrollo y pruebas sin sacrificar la fiabilidad, el presupuesto o la cobertura de la prueba. El proceso también abarca estándares de seguridad como ISO-26262, así como regulaciones actuales y futuras. 

Tecnología—La tecnología equivale a las herramientas que se alinean con los conjuntos de habilidades y los procesos. Con la tecnología, los probadores realizan X-in-the-loop (model-in-the-loop y software-in-the-loop) y llevan la prueba a un sistema de hardware-in-the-loop o una prueba de laboratorio. La tecnología abarca todo el espectro, desde un solo componente o dominio hasta pruebas de vehículos completos del mundo real. 

Estos tres vectores y sus componentes relacionados son lo suficientemente complejos como para merecer total atención. Recomendamos evaluar las circunstancias existentes y determinar qué variables o procesos desea optimizar para sus dispositivos comerciales específicos para lograr el equilibrio adecuado entre los tres. 

Aquí, sin embargo, nos centraremos en la tecnología y en cómo afecta realizar pruebas en etapas iniciales de manera confiable (reconociendo que examinar un solo vector no es para superar los desafíos de las pruebas). 

​En la Figura 2, vemos la representación tradicional desglosada por la parte del proceso en la que se realizan el diseño y las pruebas (virtuales vs laboratorio vs físicas). Desglosarlo ayuda a identificar oportunidades para ejecutar la prueba con anticipación, tener las iteraciones de la prueba en el lugar y el momento correctos y realizar la prueba física de la manera más efectiva posible. 

^{Figura 2. Al ampliar el diagrama V se muestra dónde se realiza la prueba para ayudar a identificar oportunidades para adoptar el enfoque shift left.}

Claramente, cuanto más a la derecha y hacia arriba avanzamos en el diagrama V, es más probable que la complejidad para identificar defectos y el tiempo puedan tener un impacto negativo en el desarrollo; sin embargo, recuerde que el entorno de prueba afecta las variables clave (Figura 3). En resumen, las pruebas potentes y completas del lado izquierdo conducen a evaluaciones del mundo real con una cobertura de pruebas igualmente alta.

^{Figura 3. Esta tabla muestra las ventajas y desventajas de realizar pruebas en diferentes etapas. 2}

Ahora, veamos algunas áreas en las que la tecnología puede ayudar con el cambio y aumentar las pruebas en el lado izquierdo del diagrama V.

La optimización de las pruebas es útil cuando intenta realizar el lado izquierdo de la V en etapas iniciales y aumentar la efectividad en el laboratorio y el mundo físico, así como en todas las demás áreas. Aquí es donde se revelan las fortalezas y debilidades de la tecnología.  

Tradicionalmente, los proveedores de pruebas se han enfocado principalmente en ser los mejores en un área (simulación, laboratorio o pruebas físicas), pero no en las tres. Mejorar la prueba a través de un enfoque de hardware modular que también está conectado a través de software, ayuda a optimizar estas tres áreas: 

1. Reutilizar los componentes de la prueba  

Si bien, reutilizar los componentes tiene un costo-beneficio, en realidad es el ahorro de tiempo lo que lo hace tan valioso, y está absolutamente centrado en el software. Al minimizar la software entre las etapas del diagrama V, usted logra diseños y pruebas más integrados.  

Sin embargo, en la práctica abundan los desafíos, incluyendo las tensiones con los proveedores, la forma en que la organización está estructurada, aislada o medida y la tecnología. Aunque, el desafío de la tecnología debería ser más fácil de superar, ya que puede incorporar la arquitectura de prueba correcta para que los ingenieros puedan llevar los módulos de prueba a través de diferentes etapas en el ciclo, desde la prueba de componentes hasta el sistema y la prueba de integración.  

Al emplear arquitecturas de software de desarrollo de pruebas y sistemas de prueba abiertos, podemos reutilizar casos de prueba, equipos y desarrollo de ingeniería, no solamente entre los grupos que trabajan en los mismos productos, sino entre productos desarrollados en serie. El ejemplo de Volvo valida cómo la arquitectura y la tecnología adecuadas preparan los sistemas de prueba para el futuro para cumplir con las fechas de entrega, los estándares de calidad y los requisitos de presupuesto. Integraron de manera eficiente productos de varios proveedores, reutilizaron los componentes existentes e incorporaron flexibilidad en el sistema para prepararse para las futuras necesidades de Volvo. La configuración de todo el sistema fue tan sencilla que lograron calidad de clase mundial a tiempo y al costo correcto con recursos limitados. 

2. Utilizar mejor sus datos

Cuando se utiliza el enfoque Shift Left, debe hacer que los datos funcionen a favor del cambio, en lugar de que sea otro desafío que superar. Esto es especialmente importante con CASE, ya que los datos de las pruebas se han disparado tanto que las organizaciones deben ser absolutamente impulsadas por datos.  

Debido a las limitaciones de la tecnología y la metodología, es común analizar solamente una parte de los datos específicos de la prueba (que, posteriormente y rara vez se vinculan a etapas de prueba anteriores o se mueven como inteligencia de prueba a etapas de prueba futuras). Sin embargo, Jaguar Land Rover automatizó su administración de datos para un mayor análisis, reduciendo significativamente las repeticiones de las pruebas y entrelazando los costos y los beneficios de la fiabilidad de las pruebas hasta la prueba física. 

Usar datos para realizar pruebas desde el inicio también:

• Proporciona la mejor simulación y modelo estadístico, cada vez más importante cuando se prueban tecnologías nuevas, no probadas o documentadas (como la autonomía)
• Mejora y ayuda a automatizar la generación de casos de prueba, lo que elimina las repeticiones innecesarias de pruebas y aumenta la cobertura de la prueba con resultados rastreables.
• Protege contra riesgos y eventuales fallas (o devoluciones por defectos), rastreando rigurosamente cada producto desde el diseño hasta los resultados de las pruebas.
• Muestra una vista de prueba más amplia, de múltiples procesos, de múltiples ángulos en entornos virtuales, de laboratorio y físicos, lo que le ayuda a comprender mejor la cobertura de su prueba
• Ayuda con las decisiones de inversión en pruebas y desarrollo (gastos de capital y gastos operativos)
• Se convierte en el primer paso para aprovechar verdaderamente la inteligencia artificial, el aprendizaje de máquinas y otras tecnologías de procesos industriales.
   

Y, tal vez lo más importante, usar datos para unir la comunicación entre grupos que trabajan en un producto específico acelera la toma de decisiones, la colaboración y la corrección del rumbo. 

3. Comprender por dónde está comenzando 

Como cualquier viaje, el punto de partida es tan importante como el lugar al que se dirige. Entender realmente cómo está sucediendo la prueba ahora, le ayuda a descubrir las brechas en las que podría estar ocurriendo la prueba y cómo SE beneficiaría a su compañía al cubrir esas brechas .  

El concepto básico es simple: Aléjese de la reelaboración en la zona roja, como se muestra en la Figura 4. 

^{Figura 4. Las reelaboración en diferentes etapas puede colocarlo en la zona roja, donde la pérdida de tiempo y recursos aumenta de manera desproporcionada.}

Sin embargo, esto es tremendamente difícil y, a menudo es mucho más difícil si lo hace sin ayuda, ya que requiere que las compañías sean autocríticas, multidisciplinarias y basadas en datos, con una comprensión adecuada de las mejores prácticas de la industria. Afortunadamente, incorporar un servicio de consultoría como NI puede introducir una visión externa, diversificada y transversal (personas, procesos y tecnología) respaldada por una amplia experiencia, que conduce a valiosos descubrimientos y, finalmente, a un plan de acción para hacer el cambio.

Para comenzar con su autoevaluación, considere dónde se encuentra actualmente en el equilibrio del escenario de las pruebas: ¿Cuánto prueba en simulación, HIL, repetición y en la carretera, y dónde o cómo puede optimizar su inversión? La dificultad para responder a esta pregunta indica claramente una oportunidad para cambiar más hacia la simulación y HIL para ser más efectivos con las pruebas. 

Si bien es comprensible que se sienta demasiado abrumado por los posibles desafíos en la implementación como para tomar medidas, considere el alto costo de no hacer nada. Al no crear un enfoque estructurado con una estrategia clara, corre el riesgo de hacer las cosas como siempre se han hecho, y por supuesto, produce los mismos resultados de siempre. Cuando diseña el proceso existente, define todos los candidatos de optimización y planifica estratégicamente el orden para abordar los pasos (además de destacar los indicadores clave de rendimiento), aumenta las posibilidades de éxito tanto inmediatas como a largo plazo. 

Continuaremos explorando los desafíos y estrategias de personas y procesos, pero por ahora, comprender cómo la tecnología puede desplazar las pruebas hacia la izquierda es el primera meta en nuestro viaje en la evolución de las pruebas. NI tiene los equipos de trabajo, el conocimiento y las tecnologías adecuados para ayudarlo a mejorar sus pruebas, ayudándolo a darle vida a su vehículo autónomo.

Pasos siguientes

• Interactúe con los servicios de consultoría en metodología de NI
• Aprenda más sobre la solución NI ADAS HIL
• Aprenda más sobre las pruebas de percepción y los sistemas de fusión de sensores para vehículos autónomos.