Shift-Left-Ansatz: Entwicklungsgeschichte der Validierungstests im Automobilbereich

Das V-Diagramm in der Automobilindustrie

Kraftfahrzeuge haben eine mechanische Vergangenheit, die Zukunft gehört jedoch der Software. Trotz der vorrangigen Rolle, die Software in modernen Autos spielt, steckt die Industrie weiterhin viele Ressourcen in die Prüfung von Fahrzeugprototypen. Auch wenn dies aus sicherheitstechnischer Sicht durchaus angebracht ist, ist die Validierung von Entwürfen unter realen Bedingungen aufgrund der Kosten, der späten Fehlererkennung und der mangelnden Wiederholbarkeit kaum realisierbar.

Aufgrund dieser Einschränkungen bemühen sich die Unternehmen, den physischen Prototypen – und das endgültige Design – von Anfang an in den bestmöglichen Zustand zu versetzen. Automobilhersteller modifizieren das V-Diagramm, um die Entwicklung und Erprobung in die Anfangsphase zu verlagern (Front-Loading-Ansatz) und zunehmend virtuelle Prototypen einzusetzen (Abbildung 1), wodurch die Kosten und der Nachbearbeitungsaufwand erheblich gesenkt und die Entwicklung beschleunigt wird. Dies ermöglicht bereits zu einem früheren Zeitpunkt im Prozess eine engere Zusammenarbeit zwischen Design-, Entwicklungs- und Validierungsteams .

^{Abbildung 1: Weniger Nachbereitungsaufwand und vorgelagerte Entwicklung durch den Einsatz von Software- und Daten-Toolchains, um schnelle Test-Iterationen zu erzielen.}

Ähnlich wie beim Front-Loading-Ansatz, der zu dem doppelten V in Abbildung 1 führt, könnten Unternehmen versuchen, "das V enger zu fassen" oder "nach links zu verlagern". Unabhängig vom Designprozess greifen sie jedoch alle auf Simulations- und Labortechniken zurück, um die Testabdeckung in einer auf Sicherheit, Schnelligkeit und Kosteneffizienz ausgerichteten virtuellen Welt zu erhöhen. Im Jahr 2018 stellten die Forscher fest, dass sie durch die Aufteilung der Testfälle für automatisierte Fahrfunktionstests in virtuelle und physische Fälle im Vergleich zu Tests, die nur in Live-Situationen durchgeführt werden, erhebliche Kosteneinsparungen erzielen.¹In diesem Fall bezifferten die Forscher die Kostenreduktion auf bis zu 90 Prozent.

Der Übergang zur virtuellen Simulation läuft bei aufstrebenden Automobilunternehmen wie Waymo, die den Schwerpunkt auf Autonomie legen und über Fachkenntnisse beim Testen von Software verfügen, fast schon instinktiv ab. Aus Erfahrung wissen diese Unternehmen, dass vermehrtes Testen während der Simulation folgende Auswirkungen hat:

• erhöhte Testabdeckung, wobei je Zeiteinheit mehr Testfälle und -szenarien durchgespielt werden
• höhere Zuverlässigkeit, indem mehr Fehlerfälle zu den Testszenarien und -bedingungen hinzugefügt werden 
• geringere Kosten dank hoher Automatisierung und niedrigere Gesamtkosten im Vergleich zu physischen Tests
• bessere Wiederholbarkeit, was in eine verbesserte Produktcharakterisierung und Rückverfolgbarkeit mündet
   

Angesichts der vielen Vorteile von virtuellen Prototypen für die Automobilunternehmen stellt sich die Frage, warum diese nicht häufiger verwendet werden.

Herausforderungen im Rahmen der Umstellung 

Solange es noch kein etabliertes Verfahren gibt, um den Übergang zu vorgelagertem Testen zu vollziehen, stellen sich mehrere komplexe, miteinander verknüpfte Herausforderungen, die Menschen, Prozesse und Technologien betreffen. Doch mit diesen Herausforderungen sind auch Chancen verbunden. Bevor wir uns jedoch diesen Möglichkeiten zuwenden, sollten zunächst die einzelnen Herausforderungen definiert werden: 

Menschen – Dabei geht es um Qualifikationen und Schulungen und darum, wie ein Unternehmen kontinuierliches virtuelles und laborbasiertes Testen und Integrieren unterstützt und die interne Abstimmung zwischen Arbeitsgruppen sowie die externe Abstimmung unter Einbeziehung von Lieferanten und Mitarbeitern fördert.  

Prozess – Im Prozess wird festgelegt, was zu welchem Zeitpunkt getestet werden soll, wobei automatisierte Testmanagementtechniken und -methoden zum Einsatz kommen, die virtuelle Tests, Labortests und realitätsnahe Tests zueinander in Beziehung setzen. Diese Methoden, die auf Unterstützung angewiesen sind, nutzen die oben genannten Fähigkeiten und Schulungen, um Entwicklungs- und Testprozesse zu beschleunigen, ohne dabei an Zuverlässigkeit, Budget oder Testabdeckung einzubüßen. Der Prozess umfasst auch Sicherheitsstandards wie ISO-26262 sowie bestehende und zukünftige Regelungen. 

Technologie – Die Technologie steht für die Werkzeuge, die auf die Fertigkeiten und Prozesse abgestimmt sind. Mit der Technologie arbeiten die Tester mit X-in-the-Loop (Model-in-the-Loop und Software-in-the-Loop) und überführen die Tests in ein Hardware-in-the-Loop-System oder einen Labortest. Die Technologie erstreckt sich über das gesamte Spektrum – von einer einzelnen Komponente oder Domäne bis hin zu Tests an ganzen Fahrzeugen unter realen Bedingungen. 

Diese drei Faktoren und die mit ihnen zusammenhängenden Komponenten sind derart komplex, dass sie ungeteilte Aufmerksamkeit verdienen. Wir empfehlen, die bestehenden Verhältnisse zu bewerten, und zu bestimmen, welche Variablen oder Prozesse Sie für Ihre spezifischen Geschäftsziele optimieren wollen, um ein gutes Gleichgewicht zwischen den drei Elementen zu erreichen. 

An dieser Stelle liegt unser Schwerpunkt jedoch auf der Technologie und deren Auswirkungen auf das zuverlässige vorzeitige Testen (wobei wir uns darüber im Klaren sind, dass die Analyse eines einzelnen Faktors nicht ausreicht, um Testherausforderungen zu meistern). 

​In Abbildung 2 sehen wir die traditionelle Darstellung nach dem Ort aufgegliedert, an dem das Design und der Test durchgeführt werden (virtuell vs. Labor vs. physisch). Diese Unterteilung hilft, Möglichkeiten zu finden, den Test früher durchzuführen, die Test-Iterationen am geeigneten Ort und zur passenden Zeit vorzunehmen und so effektiv wie möglich zum physischen Test zu gelangen. 

^{Abbildung 2: Das erweiterte V-Diagramms zeigt, an welchen Stellen der Test dazu beiträgt, Möglichkeiten für das Left-Shifting-Prinzip zu identifizieren.}

Je weiter wir im V-Diagramm nach rechts und oben gehen, desto höher ist die Wahrscheinlichkeit, dass die Komplexität und der Zeitpunkt des festgestellten Fehlers die Entwicklung negativ beeinflussen können. Dabei sollte jedoch nicht außer Acht gelassen werden, dass die Testumgebung einen Einfluss auf die Schlüsselvariablen hat (Abbildung 3). Zusammengefasst lässt sich sagen, dass leistungsstarke, allumfassende Tests auf der linken Seite zu praxisnahen Versuchen mit ebenso hoher Testabdeckung führen.

^{Abbildung 3: In diesem Kontinuum werden die Kompromisse und Vorteile von Tests in verschiedenen Phasen aufgezeigt 2}

Betrachten wir nun einige Bereiche, in denen die Technologie bei der Verschiebung und Vergrößerung des Testens auf die linke Seite des V-Diagramms helfen kann.

Wie man die Ausweitung der Tests auf die linke Seite optimiert 

Die Testoptimierung eignet sich besonders dann, wenn Sie versuchen, Prozesse in die linke Seite des V zu verlagern und die Effektivität im Labor und in der realen Welt, aber auch in allen anderen Bereichen zu erhöhen. An diesem Punkt werden auch die Stärken und Schwächen der Technologie offensichtlich.  

In der Vergangenheit haben sich Testanbieter in erster Linie darauf konzentriert, in einem Bereich – Simulation, Labor oder physischer Test – der jeweils Beste zu sein, aber nicht in allen drei Bereichen. Bei der Weiterentwicklung von Tests durch einen modularen Hardwareansatz, der auch über Software verbunden ist, stellt es sich als hilfreich heraus, diese drei Bereiche zu optimieren: 

1. Wiederverwendung von Testkomponenten  

Die Wiederverwendung von Komponenten ist zwar mit Kostenvorteilen verbunden, doch überwiegt vor allem der Wert der Zeitersparnis – und der Schwerpunkt liegt eindeutig auf der Software. Durch die Minimierung des Nachbearbeitungsaufwands zwischen den verschiedenen Stufen des V-Diagramms lässt sich eine bessere Integration von Entwurf und Test erzielen.  

In der praktischen Umsetzung stellen sich jedoch zahlreiche Herausforderungen. Dazu gehören Spannungen zwischen den Lieferanten, die Art und Weise, wie das Unternehmen strukturiert, segmentiert oder gemessen wird, und schließlich die Technologie. Die technologische Herausforderung dürfte jedoch leichter zu bewältigen sein, da Sie die richtige Testarchitektur einbinden können, sodass die Ingenieure die Testmodule über verschiedene In-the-Loop-Phasen hinweg einsetzen können – vom Komponententest über den Systemtest bis hin zum Integrationstest.  

Durch die Verwendung offener Softwaresystemarchitekturen für Testsysteme und für die Testentwicklung können wir Testfälle, Ausrüstung und technische Entwicklung wiederverwenden – nicht nur innerhalb von Gruppen, die an denselben Produkten arbeiten, sondern auch zwischen serienmäßig entwickelten Produkten. Am Beispiel von Volvo zeigt sich, wie eine geeignete Architektur und Technologie Testsysteme fit für die Zukunft macht, um Liefertermine, Qualitätsstandards und Budgetanforderungen einzuhalten. Bei Volvo wurden Produkte verschiedener Hersteller effizient integriert, vorhandene Komponenten wiederverwendet und das System flexibel auf die zukünftigen Anforderungen des Unternehmens vorbereitet. Die Einrichtung des gesamten Systems verlief reibungslos, sodass sie mit begrenzten Ressourcen pünktlich und zu angemessenen Kosten erstklassige Qualität liefern konnten. 

2. Bessere Nutzung Ihrer Daten

Wenn Sie den Left-Shifting-Ansatz verfolgen, müssen Sie dafür sorgen, dass die Daten zugunsten der Umstellung genutzt werden und sich nicht als eine weitere zu bewältigende Herausforderung erweisen. Besonders kommt dies bei CASE zum Tragen, da die Testdaten ein Ausmaß angenommen haben, das Unternehmen dazu zwingt, datenorientierter zu agieren.  

Aufgrund technologischer und methodischer Einschränkungen ist es üblich, nur einen Teil der testspezifischen Daten zu analysieren (die in der Folge nur selten im Nachhinein mit früheren Testphasen verknüpft oder in Form von Testintelligenz auf zukünftige Testphasen übertragen werden). Jaguar Land Rover hat die Datenverwaltung jedoch automatisiert, um eine bessere Analyse zu ermöglichen. Auf diesem Wege wurden Testwiederholungen erheblich reduziert und die Vorteile in Bezug auf Kosten und die Testzuverlässigkeit bis hin zum physischen Test gewinnbringend eingesetzt. 

Die Verwendung von Daten zum früheren Testen:

• stellt die bestmögliche Simulation und statistische Modellierung zur Verfügung, was bei der Erprobung neuer, bisher nicht getesteter oder dokumentierter Technologien immer wichtiger wird (z. B. Autonomie)
• verbessert und unterstützt die Automatisierung der Erstellung von Testfällen, wodurch unnötige Testwiederholungen vermieden werden und die Testabdeckung mit rückverfolgbaren Ergebnissen erhöht wird
• bietet Schutz vor Risiken und eventuellen Ausfällen (oder Rückrufaktionen), indem jedes Produkt vom Entwurf bis zu den Testergebnissen ganz genau verfolgt wird
• bietet eine breitere, prozessübergreifende Testansicht aus mehreren Blickwinkeln in virtuellen, labortechnischen und realen Umgebungen und hilft Ihnen, Ihre Testabdeckung besser zu verstehen
• hilft bei Entscheidungen über Test- und Entwicklungsinvestitionen (Investitionskosten und Betriebsaufwendungen)
• stellt den ersten Schritt zur tatsächlichen Nutzung von künstlicher Intelligenz, Machine Learning und anderen industriellen Prozesstechnologien dar
   

Und, was vielleicht am wichtigsten ist, die Verwendung von Daten zur Überbrückung der Kommunikation zwischen den Gruppen, die an einem bestimmten Produkt arbeiten, beschleunigt die Entscheidungsfindung, die Zusammenarbeit und mögliche Kurskorrekturen. 

3. Einen guten Ausgangspunkt wählen 

Wie bei jeder Reise ist der Ausgangsort genauso wichtig wie der Zielort. Wenn Sie wirklich verstehen, wie die Tests derzeit ablaufen, können Sie Lücken erkennen, in denen Tests durchgeführt werden könnten, und wie die Schließung dieser Lücken Ihrem Unternehmen zugutekäme.  

Das grundlegende Prinzip ist einfach: Nehmen Sie Abstand von Nachbearbeitungen im roten Bereich, wie in Abbildung 4 dargestellt. 

^{Abbildung 4. Durch Überarbeitungen in den verschiedenen Stadien können Sie in den roten Bereich geraten, in dem die Vergeudung von Zeit und Ressourcen überproportional zunimmt.}

Dies stellt sich jedoch als ungeheuer schwierig dar und ist im Alleingang oft kaum zu bewerkstelligen, da es von den Unternehmen verlangt, selbstkritisch, multidisziplinär und datenorientiert zu handeln und ein angemessenes Verständnis der Best Practices der Branche zu haben. Zum Glück kann durch die Einbeziehung eines Beratungsdienstes wie NI eine externe, diversifizierte, multisektorale Sichtweise (Menschen, Verfahren und Technologie) eingebracht werden, die auf umfassender Erfahrung aufbaut und in einen wertvollen Erkenntnisgewinn und schließlich in einen Aktionsplan zur Umsetzung des Umstellungsprozesses mündet.

Als Einstieg in Ihre Selbsteinschätzung sollten Sie sich überlegen, an welcher Stelle der Skala der Testszenarien Sie sich befinden: In welchem Umfang testen Sie im Rahmen von Simulation, HIL, Replay und im Straßentest, und wo/wie können Sie Ihre Investition optimieren? Wenn die Beantwortung dieser Frage Schwierigkeiten bereitet, deutet dies eindeutig auf eine Möglichkeit hin, mehr in Richtung Simulation und HIL zu gehen, um beim Testen effektiver zu werden. 

Fazit 

Natürlich kann es passieren, dass man von potenziellen Umsetzungsproblemen derartig überwältigt ist, dass man nichts unternimmt. Es sollte jedoch der hohe Preis in Erwägung gezogen werden, der durch Nichtstun entstehen würde. Wenn Sie keinen strukturierten Ansatz mit einer klaren Strategie verfolgen, ist das Risiko groß, dass Sie die Dinge so angehen, wie sie schon immer durchgeführt wurden. Dies führt natürlich zu den gleichen altbekannten Ergebnissen. Wenn Sie den bestehenden Prozess aufrollen, alle Optimierungsmöglichkeiten definieren und die Reihenfolge der Schritte strategisch planen (bei gleichzeitiger Skizzierung bewährter Leistungskennzahlen), sorgen Sie dafür, dass sowohl die unmittelbaren als auch die langfristigen Erfolgschancen steigen. 

Wir werden im weiteren Verlauf einen Blick auf die Menschen werfen und uns den Herausforderungen und Strategien zuwenden, aber vorerst stellt das Verständnis dafür, wie die Technologie den Test nach links verlagern kann, den ersten wichtigen Schritt auf unserem Weg der Weiterentwicklung des Testens dar. NI verfügt über die geeigneten Mitarbeiter, das erforderliche Know-how und die Technologien, um Sie bei der Verbesserung Ihrer Tests zu unterstützen – damit Sie Ihr autonomes Fahrzeug auf die Straße bringen können.

Nächste Schritte

• Arbeiten Sie mit NI Methodology Consulting Services zusammen
• Erfahren Sie mehr über die NI ADAS HIL-Lösung
• Erfahren Sie mehr über das Testen von Wahrnehmungs- und Sensorfusionssystemen für autonome Fahrzeuge