測試移:汽車驗證測試演變

綜覽

數十年來,設計和驗證都仰賴 V 型圖,除了 V 型圖多了少數變體之外,這情形一直沒有改變。這主要歸功於 V 型圖的有效性、擴充能力和產業的肯定。

 

隨著車輛的連線化、自動化、共享化與電動化 (CASE),不容妥協的安全標準也使得設計和測試往 V 型圖的左側發展,進而導致測試範圍大幅提升:因為需要測試的不僅是車輛內運行的軟體,持續發展的技術所對應的眾多使用案例與未知因素,加上開發與售後期間軟體仍不斷更新,這些因素都會讓測試範圍不斷擴大。

 

現在讓我們從汽車產業測試觀點看看 V 型圖,探索設計最佳化的機會。

汽車產業的 V 型圖

過去車輛大量依賴機械,但未來卻是由軟體來定義。 儘管軟體在現代汽車產業扮演要角,但仍持續在車輛的原型測試上投入大量資源。雖然從安全的角度來看,這項投資有其必要性,但由於成本高昂、無法及時發現故障且缺乏可重複性,因此公司幾乎不可能在真實條件下對設計進行驗證。

基於上述這些限制,公司希望從一開始就盡可能取得最佳實體原型,進而讓最終設計處於最佳狀態。汽車原始設備製造商 (OEM) 不斷修改 V 型圖,更加著重於前期的開發和測試,並逐漸增加虛擬原型的運用 (圖 1),進而大幅降低成本和重複作業負擔並縮短開發時程。 這點可以推動設計、開發和驗證團隊在流程早期就開始進行緊密合作。

虛擬原型和硬體驗證方法可減少重複作業

圖 1.使用軟體和資料工具鏈可並減少重複作業,讓團隊將重心放在前期開發工作,以更快速地迭代測試。

將重心放在前期的開發工作,就會導致 V 型圖變為圖 1 中的雙 V 型圖,而跟這點相似,公司可以嘗試「縮小 V 字」或「向左移」;然而無論設計流程為何,公司會更傾向於採用模擬和實驗室技術,在更安全、快速、成本更低的虛擬世界中擴大測試範圍。 在 2018 年,研究人員發現,透過將自動駕駛功能測試案例分為虛擬世界和實體環境,節省的成本會比只進行現場測試來得更多。1研究人員預估可減少的成本高達 90%。

對於 Waymo 這樣專注於自駕功能,且擁有軟體測試專業知識的新創汽車公司,轉向虛擬模擬幾乎是一種很自然的發展。 根據經驗,這些公司知道在模擬中進行更多測試便可:

  • 在每單位時間內執行更多測試案例和情境,藉此擴大測試範圍
  • 將更多故障案例加入測試情境和條件,以改善系統穩定性 
  • 藉由高度自動化,進而降低成本;與物理測試相比,總成本更低
  • 更高的重複性,可改善產品特性分析與提升可追蹤性
     

既然虛擬原型能帶給汽車公司諸多好處,為何這個方法沒有進一步普及?

轉變面臨挑戰 

雖然轉向前期開發測試並沒有既定的流程,但因為人員、流程和技術彼此息息相關,因此有許多複雜且相互關聯的挑戰。然而這些挑戰也就意味著機會。但在檢驗這些機會之前,我們先來定義這些挑戰: 

人員:這涉及到技能和訓練,以及組織如何持續支援虛擬和以實驗室為基礎的測試和整合,還有內部團隊之間的共識,以及與外部供應商和合作夥伴之間的整合。  

流程:流程涉及到使用自動化測試管理技術和方法,將虛擬世界、實驗室和真實世界測試相互關聯,並確認進行測試的對象與時機。這些方法需要各部門一致採納,並利用上述技能和訓練,才能在不增添預算或犧牲穩定性、或測試範圍的條件下,縮短開發和測試流程。 流程也包括 ISO-26262 等安全標準,以及既有與未來將頒布的法規。 

技術:技術是指與技能和流程搭配運作的工具。 運用技術,測試人員就能執行 X 迴路 (XIL) (模型迴路和軟體迴路),並將測試導入硬體迴路系統或實驗室測試中。 技術涵蓋了從單一元件或領域,到完整車輛真實世界測試等整個範圍。 

這三個向量和其相關的元件都非常複雜,值得我們深入去研究。 我們建議先評估現有情況,並判斷您想要為具體的業務目標將哪些變數和流程最佳化,以達成三者之間的適當平衡。 

不過,在此我們會將焦點放在技術,以及技術如何影響可信的前期開發測試 (請注意,光是檢驗單一向量並不足以克服測試挑戰)。 

​在圖 2 中我們可以看出,傳統的呈現方式是依設計和測試的完成地點劃分,也就是虛擬世界、實驗室環境和實體環境。 這樣劃分有助於找出提早執行測試的機會,在正確的地點和時機執行測試迭代,並盡可能有效地執行物理測試。 

圖 2.延伸 V 型圖,觀察測試發生在哪一個階段,進而找出測試左移的機會。

顯而易見,越往 V 型圖的右側和上方前進,辨識出的瑕疵複雜度就越高,而且時機也越晚,對開發造成的負面影響也就越大;然而請不要忘了,測試環境會影響到關鍵變數 (圖 3)。綜合以上敘述可知,在左側進行強大且全方位的測試,同樣可以過渡到真實的測試,而且測試範圍也同樣廣泛。

 

圖 3.這張時序圖顯示出在不同階段進行測試的取捨和優勢。2

現在,讓我們來看看哪些方面可以透過技術,推動 V 型圖左移並增加左測的測試。

如何最佳向左延伸測試 

當您嘗試將測試左移,並提高實驗室和實體世界與所有領域的效率時,建議您先進行測試最佳化。這時就必須介紹一下技術的優點與缺點。  

在以往,測試供應商只要專注在單一領域 (模擬、實驗室或物理測試),不需要在所有三種領域都成為領導者。 然而若採用模組化硬體方法來改善測試,而該模組化硬體方法也是透過軟體進行連接時,這麼做便有助於最佳化以下三個領域: 

1. 重複使用測試元件  

重複使用元件會帶來成本效益,但真正讓這個做法帶來價值的關鍵,就在於可節省的時間,而且這個做法絕對以軟體為中心。透過將 V 型圖階段之間的重複作業降到最低,您就能達成整合度更高的設計和測試。  

但實際運用上,挑戰卻比比皆是,比如與供應商之間的緊張關係、組織的架構、部門之間的孤立,企業的考核方式以及技術,都會帶來各種挑戰。其中技術上的挑戰應該是最容易克服的,因為採用正確的測試架構,工程師就可以在不同的迴路階段 (從元件測試到系統,再到整合測試) 之間重複運用測試模組。  

運用開放的測試系統和測試開發軟體架構,我們可以在開發相同產品的團隊之間重複使用測試案例、設備和工程開發成果,也可以在相同系列的產品開發作業中重複使用。 Volvo 案例便證明了正確的架構和技術可確保測試系統符合未來需求,以滿足交付日期、品質標準和預算需求。他們能有效地整合多家廠商的產品、重複使用現有的元件,還能打造出靈活有彈性的系統,以便輕鬆因應未來的需求。 整套系統設定十分流暢,讓他們能運用有限的資源,以合理的成本準時提供世界級品質的產品與服務。 

2.有效使用資料

進行測試左移時,您必須讓資料成為轉變的助力,而不是讓資料成為另一項挑戰。這對於 CASE 而言尤其重要,因為隨著測試資料呈現爆炸性成長,組織以資料為驅動力就更顯必要。  

因為技術和方法的限制,通常我們只會分析一部分測試資料 (隨後這些資料很少會重新連結到先前的測試階段,或將這些資料當做測試情報,以為未來的測試階段做準備)。 然而,Jaguar Land Rover 將資料管理自動化,提高了分析能力,大幅減少重複執行測試的次數,並將成本與測試穩定度的優點一路延伸到實體測試。 

使用資料來提早進行測試也有助於:

  • 提供最佳模擬和統計建模,這點在測試全新技術、先前未測試或有過記錄的技術 (例如自駕功能) 越來越重要
  • 改善並自動化測試案例產生的流程,同時避免非必要的重複測試,並運用可追蹤的結果擴大測試範圍
  • 嚴格追蹤每個產品從設計到測試結果的過程,以免產品遭遇風險,避免最終導致故障 (或召回)=
  • 運用虛擬世界、實驗室和實體環境測試,提供更寬廣、多角度、多流程的測試檢視,有助您更了解測試範圍
  • 協助測試和開發投資決策 (資本支出和營運費用)
  • 為真正利用人工智慧、機器學習和其他工業流程技術踏出第一步
     

而且,也許最重要的是,透過資料,可以讓開發特定產品的團隊之間架起有效的溝通橋梁,縮短決策制定、合作和在過程中修正的時間。 

3. 了解起點 

與任何旅程一樣,您的起點與目的地一樣重要。了解測試的過程,有助您探索測試中可能出現的缺點,還有修正這些缺點又能為您的公司帶來什麼益處。  

基本概念很簡單: 如圖 4 所示,遠離紅色區域中的重複作業。 

在 V 字右側進行重複作業會導致時間和資源的浪費

圖 4. 在各個階段重複作業可能會使您落入紅色區域,而在此區域中,浪費的時間和資源會急速增加。

然而要做到這點的難度非常高,而且通常很難獨力完成,因為這需要公司具備嚴以律己的思維、多領域知識、以資料為導向的能力,並對產業最佳實務有適當的了解。幸運的是,諸如 NI 提供的諮詢服務會以豐富經驗與知識為後盾,可從外部以不同角度提供多元化且多向量 (人員、流程和技術) 的觀點,為您帶來極富價值的發現,最終制定出實現轉變的行動計畫。

開始自我評估以前,請先考量您在測試情境中所處的位置:您的模擬測試、HIL測試、重播測試和道路測試有多少?哪些方面/如何最佳化您的投資? 如果您覺得這個問題難以回答,就清楚表示您應該更大幅地轉向模擬和 HIL,以提高測試效率。 

結論 

您也許會因為害怕執行過程中可能的挑戰而踟躕不前,但請考慮不採取行動會導致的後果與代價。如果不建立策略明確的架構化方法,您可能會按照過往的方式行事;當然,這會帶來相同的既有結果。 若您能仔細檢視既有流程、定義出所有需要最佳化的領域,並從策略上規劃出處理的順序,同時訂定成功的關鍵績效指標,您就能提高當下與未來長期成功的機會。 

我們會繼續探索人員和流程方面的挑戰與策略,但就目前而言,了解技術如何協助實現測試左移的目標,是我們測試演變之旅的第一個里程碑。NI 有合適的團隊成員、知識和技術,可協助您改善測試:協助您成功開發自動化車輛。

後續步驟