Pruebas en carretera y registro de datos (continuación)
En el último número (Automotive Journal 2023 Volume 1), ya cubrimos el rendimiento y la sincronización de datos para registradores externos. Hoy, continuaremos nuestro viaje a través del flujo de trabajo conectado por software (ver Figura 1) con la tercera especificación obvia para el registro de datos ADAS/AD, que es el almacenamiento de datos.
Figura 1: El flujo de trabajo de validación de AD de extremo a extremo y el flujo de datos
Almacenamiento de datos para registro de datos ADAS y AD
Como parte del primer artículo, nos dimos cuenta de que la cantidad de datos que se capturan y deben almacenarse por vehículo puede llegar fácilmente a cientos de terabytes por día. Recuerde, una drive continuo de ocho horas puede requerir hasta 144 TB de capacidad de almacenamiento (5 GB/s × 3600 s/hora × 8 horas). Este requisito significa que el almacenamiento integrado con alto rendimiento (velocidad de escritura) y grandes cantidades de capacidad son imprescindibles. Pero después de que los datos se adquieren y guardan en un dispositivo de almacenamiento dentro del vehículo, el desafío no termina ahí, aquí es donde realmente comienza. ¿Cómo se cargan y descargan estos conjuntos de datos rápidamente? ¿Cómo carga de forma segura estos enormes volúmenes de datos masivos en su nube o infraestructura de TI para llevarlos al laboratorio y usar los datos para el entrenamiento y la validación de algoritmos? ¿Cómo se hace esto con una flota de más de 100 vehículos en todo el mundo, desde metrópolis bien conectadas hasta áreas rurales o en tierra de nadie? He visto organizaciones que luchan con estas preguntas. Repasemos estos temas uno a la vez, comenzando con el primer paso: la capacidad de almacenamiento integrada.
Uno podría pensar que sería fácil comprar algunas unidades de almacenamiento SSD que pueden contener 100 terabytes o más. Quizás si trabaja en un entorno de TI bien regulado, esta afirmación podría ser cierta. Pero una vez que hablamos de ejecutar dispositivos de nivel de servidor o de TI en un vehículo, se vuelve más complicado. Varios factores agregan desafíos que dificultan o imposibilitan el uso de sistemas de almacenamiento de TI dentro de un automóvil. Los desafíos que primero vienen a la mente son el voltaje de suministro (generalmente 12 VDC), rango de temperatura, humedad, dimensiones, consumo de energía, robustez mecánica (impacto y vibraciones), etc. Oh, sí, no me malinterprete, encontrará dispositivos de almacenamiento de TI que cumplirán con algunos de estos criterios, pero todos en uno, ese es realmente el gran desafío.
A menudo, esta necesidad conduce al uso de dispositivos de almacenamiento más pequeños que no son de grado de TI, como drives de expansión portátiles. Se pueden encontrar en el mercado capacidades decentes de hasta 20+ terabytes, generalmente con conexiones USB 3.x o tal vez Thunderbolt™. Estos drives proporcionan conectividad plug-and-play, pero no pueden manejar tasas de rendimiento de datos sostenibles de varios gigabytes por segundo. Además, incluso si estos drives de expansión portátiles pueden ser suficientes en términos de capacidad y con velocidades de transferencia de datos más bajas, a menudo se olvida que estas unidades no están diseñadas específicamente para un uso elevado y frecuente de lectura y escritura. Este error puede conducir rápidamente a problemas de calidad, agotando su almacenamiento de datos. No hay nada más doloroso o que genere mayores costos que desconectarse varias horas en la carretera y regresar sin datos, sin mencionar los datos útiles y relevantes. Se deben encontrar concesiones para estas aplicaciones, lo que significa que el mundo de informática y el mundo de registro automotriz deben acercarse entre sí.
NI está colaborando con Seagate para manejar los desafíos del flujo de trabajo del disco duro que se mencionan aquí. Seagate proporciona a sus drives de Arreglo Lyve Mobile hasta 92 TB SSD (en el momento de la escritura) con velocidades de escritura de más de 5 GB/s. Estos drives utilizan tecnología estándar de arreglo redundante de discos independientes (RAID) y son intercambiables en vivo. Con una conexión directa al bus PCI Express a través de una tarjeta PCI Express Gen 3 cableada, se puede garantizar el rendimiento de datos requerido. Si se necesita aún más rendimiento de datos o espacio en disco, se puede agregar otro dispositivo PCI Express Gen 3 cableado y Arreglo Lyve Mobile para escalar a los nuevos requisitos.
Descargar datos de registro de ADAS y AD
Bien, ahora que hemos visto el primer paso para el almacenamiento en el vehículo centrándose en la capacidad y el rendimiento de datos ya mencionado, veamos lo que sigue: cómo descargar o sacar datos del vehículo, o más de manera precisa, de la flota de vehículos (Figura 2). Inmediatamente me vienen a la mente tres enfoques importantes. La primera es la transferencia de datos inalámbrica o móvil, la segunda es una conexión por cable después de que el automóvil está de regreso en un garaje o taller, y la tercera es quitar físicamente los dispositivos de almacenamiento o las unidades del vehículo.
Figura 2: El desafío del ciclo de vida de los datos de ADAS y AD para automóviles con niveles SAE 2+ y posteriores
Se preferiría la transferencia de datos inalámbrica o móvil, ya que proporciona acceso a datos desde cualquier lugar en todo momento. Pero seamos realistas; la cobertura de datos móviles en todo el mundo varía bastante. Además, incluso con 5G o el futuro de 6G, estas redes no pueden manejar estas enormes cantidades de datos, en varios gigabytes por segundo. Para la mayoría de los datos registrados, las redes móviles no son prácticas. A pesar de que existen nichos como transferir un escenario específico de una sola esquina o borde a su laboratorio para un uso urgente, seamos sinceros: La transferencia de datos móvil o inalámbrica no es realmente una opción viable.
La siguiente parada es la transferencia de datos por cable, similar a la forma en que cargamos nuestros vehículos eléctricos. (¿No es genial cómo hemos visto avances en la reducción del tiempo que lleva sobrecargar nuestros autos?) Como era de esperar, el tiempo vuelve a ser el factor crítico al descargar datos registrados de su ADAS, especialmente los sistemas de cámaras.
Hagamos algunos cálculos nuevamente, considerando 144 TB por vehículo y una interfaz Ethernet de 100 Gbit (12.5 GB/s es teórico) para la desconexión. Podemos ver rápidamente que cargar nuestro automóvil de registro será el problema más pequeño, ya que la transferencia de datos para esta cantidad tomará fácilmente más de tres horas (144 × 1024 GB / 12.5 GB/s ≈ 3 horas, 16 minutos). La descarga nocturna puede ser una opción viable, pero este proceso debe combinarse con un dispositivo de almacenamiento integrado que pueda manejar campañas de registro de hasta 150 TB por día.
Finalmente, hay que considerar la extracción física de los dispositivos de almacenamiento del automóvil. Como se mencionó anteriormente (consulte el Volumen 1 del Automotive Journal 2023), una unidad USB no puede considerarse una opción, simplemente debido a la capacidad de almacenamiento limitada, así como a otros factores discutidos anteriormente en la sección de drives de expansión portátiles. Aparte de estos criterios, ¿qué más se debe tener en cuenta para la descarga física? Echemos un vistazo más de cerca a las siguientes tres áreas:
Facilidad de uso: el conductor debe poder intercambiar fácilmente los dispositivos de almacenamiento (quitar la unidad completa del vehículo y montar una unidad vacía en el vehículo), para que pueda hacerlo sin la necesidad de una gran experiencia técnica y sin tomar mucho tiempo.
El montaje y desmontaje físico de electrónicos a menudo conlleva el riesgo de desgastar los conectores. Las configuraciones mecánicas y robustas son otra necesidad para la vida y el tiempo de actividad de una solución de registro. Usted no desea que esto se vea limitado por un número bajo de posibles ciclos de enchufar y desenchufar, y la robustez mecánica también va de la mano con la facilidad de uso, por supuesto. Desea asegurarse de que el uso o manejo inadecuado del montaje y desmontaje del almacenamiento no sea otra fuente de falla al dañar la transferencia de datos o las conexiones eléctricas. (Tenga en cuenta que estamos hablando de sistemas RAID).
Cómo llevar estos drives fuera de la tarjeta a una estación de ingesta de datos, un centro de datos o directamente a su laboratorio de validación para hacer la copia real de los datos. No olvide que también debe tener dispositivos de almacenamiento vacíos disponibles para continuar registrando donde sea que su flota de vehículos esté en campo.
De repente, este desafío de la logística de datos no se limita solo al mundo digital; se convierte en un desafío en el mundo físico debido a la necesidad de enviar hardware globalmente. En ese sentido, hemos visto claramente la necesidad de la seguridad de los datos, ya que nadie quiere que estos valiosos activos, que viajan por el mundo, estén expuestos a la manipulación de datos o incluso al robo de datos. El cifrado de datos, así como la gestión de claves, son temas cruciales de integrar en la estrategia e implementación de su ruta de datos.
Con esto concluye el artículo sobre las prácticas recomendadas y lecciones aprendidas al implementar el flujo de trabajo conectado a datos y software. Dan seguirá compartiendo sus conocimientos en los próximos números del Automotive Journal. El objetivo de NI es permitir que las organizaciones, a través de un conjunto de soluciones de software y hardware, implementen un flujo de trabajo conectado por software y datos (Figura 3). NI quiere ayudar a sus clientes y socios a acelerar el desarrollo y convertir las pruebas en una ventaja estratégica que desbloquea un mayor rendimiento del producto.
Figura 3: La cartera de soluciones de NI que permite el flujo de trabajo de validación ADAS/AD conectado por software y datos