ADAS/ADカメラ検証における重要なカバレッジギャップを埋める
概要
カメラベースの先進運転支援システム (ADAS) 向けプロダクションリリースソフトウェアのテストは、機能安全要件を満たすために設けた統合安全装置の存在のため困難となります。テスト対象デバイスの妥当性チェックを満たし、テスト運転に類似した動作を再現するため、NIでは3つの異なるレイヤで画像センサ機能をエミュレートするための専用のハードウェアとソフトウェアを提供しています。これにより、検証専用のテストモードソフトウェアビルド (別名HILモード) を用意する必要がなくなります。
内容
ADASカメラの検証が課題となる理由
ビジョンベースの先進運転支援システムは、現代の自動車に欠かせない機能の1つであり、可視光線電磁スペクトルでの車両ビューを補完します。このシステムは、自律型の重要な機能を備え、オブジェクトの検出と分類に基づいた車両の軌道計画を自動化することで路上安全性の向上に寄与します。多くのADAS電子制御ユニット (ECU) の中心には、センサ入力のニューラルネットワーク (NN) 推論を加速するASICがあります。Mobileye Global, Inc.は、そのようなNNベースのサブシステムで最もよく使用されているチップセットを提供しています。
自動車メーカーとサプライヤにとって、このようなシステムの検証と承認は新たな種類の課題を提示します。従来の品質保証方法では、NNベースのADAS ECUに適用できるのはテストのみでした。自動車の生産を開始する前のテスト段階で多くの投資が行われます。 経済性と再現性の理由からよく行われる方法の1つは、関連するECUをHIL (Hardware-In-the-Loop) セットアップにクラスタ化し、ラボベースの環境で残りの車載バスをシミュレーションする機能テストです。ここにセンサ刺激信号が、デジタルパスでECUに入力されます。
図1: ADASカメラシステムの一般的なアーキテクチャ (簡略化)
セーフティクリティカルな車両機能を担うADAS ECUは、フォルトを自己診断し、安全な方法 (フェイルセーフ) で車両の制御を引き渡します。 したがって、ビジョンECUの場合、画像センサの動作状態の監視と、それが提供するビデオストリームの検証は、リアルタイムで行う必要があります。
最新の画像センサでは、ビデオプロセッサとの間のデータ経路をエラーから保護するため、いくつかの方法が採用されています。製造元によっては、サイドチャンネル処理でCRCチェックサムを有効にして対処しています。ビデオストリームは、画像にアライブカウンタと構成状態のスナップショットを含めるように構成できます。一部のセンサにはERROR割り込み出力ピンが含まれます。MIPI CSI2仕様は、さらにプロトコルレベルでのCRCガードとフレームカウンタを規定しています。
このような安全装置は、自動運転車がイメージパスのフォルトによりゴースト軌道に従うのを避けるため、ドライバに確実に制御を引き渡します。ビデオストリームや以前の記録をECUに挿入するだけで、フェイルセーフメカニズムがトリガされます。
この課題は開発開始日からわかっていて、簡単に気付く対処法はECUソフトウェアのヘルスモニタリングとステータス検証を完全にオフにすることでした。 この状態はビジョンECUの「HILモード」としてよく知られており、MobileyeおよびBosch、Continentalなどの他のベンダによってサポートされています。これは、認知レイヤとアプリケーションソフトウェアのテストができる有効なメカニズムですが、固有の欠点は、テスト対象のソフトウェアが後でデプロイされるソフトウェアではないということです。したがって、検証テストではプロダクションソフトウェアにのみ存在する一部のテスト対象範囲を検証できません。
解決策の1つとして、画像センサの動作をリアルタイムでリバースエンジニアリングしてエミュレーションし、プロダクションリリースECUソフトウェアをテストする方法があります。
ECUリリースソフトウェアを使用してADASカメラによる検証を有効にする方法
図2: 画像センサと後続のビジョンコンポーネントへの簡略化ビュー
図2は、ビデオソースとして動作する画像センサと、ビデオシンクとして動作する接続されたビジョンコンポーネントからなる概念モデルを簡略化して示したものです。論理レベルでは、画像センサで生成されたデジタル画像は、ビジョンコンポーネントで消費されます。
各入力画像は認識層への転送の前に解析されます。 平均輝度やヒストグラムなどの特定の画像プロパティは、画像センサを調整して、オブジェクトの分類に適した露出の画像を生成する制御モジュールに入力されます。
ステータス監視は、画像内に組み込まれたデータから情報を抽出して、アライブカウンタを抽出し、センサの構成状態を検証します。 このモジュールを使用すると、ECU「HILモード」を含むプレリリースソフトウェアを未使用の状態で、汎用のビデオストリームをHIL環境のECUに提供することが困難になります。
注入システムは、複数のセンササブコンポーネントの動作をリアルタイムでエミュレーションする必要があり、ビジョンコンポーネントでフェイルセイフ対策がトリガされることを回避し、検出性能の信頼できるテスト結果を生成します。
光学層のシミュレーションは、センサ入力データを生成するホストコンピュータの領域です。開ループ回帰テストでは、同様のカメラECUからの以前の記録がDUTに再生されます。視覚化ツールを使用してライブの合成データを生成すると、シナリオ探索、機能とパフォーマンスの閉ループテストが可能になります。生成されるデータの質は光学センサモデルの忠実性に直接影響します。
図3に、程度は異なるものの合成シミュレーションで通常含まれる光学特性を示します。
図3: 光電気パスの影響
論理層エミュレーションの多くは通常、オンラインでのデジタル画像操作で行われます。一部のビジョンシステムでは、センサが動的に画像を切り取り、アクティブなピクセル配列にわたって読み出しウィンドウを配置します。カラーフィルタ付きセンサは、個々のカラーチャンネルを増幅することで、異なる照明環境でのホワイトバランスの調整ができます。
特に夜間で、入射光の強度がシーンの全ダイナミックレンジをキャプチャするフォトダイオードの能力を超える場合があります。キャプチャするダイナミックレンジを拡大するため、最新のセンサでは露出時間中に複数のアナログ/デジタル変換ができるようになっています。個々の変換で12ビットの輝度情報が生成され、それが内部で積み重なって最終的な20ビットデジタル画像に変換されます。帯域幅を節約するため、20ビットの画像は非線形の動的伝達関数を使用して12ビットまたは16ビット画像に圧縮できます。
後続のプロセッサは、センサから提供される画像の統計などを利用して、露出時間を正しく制御します。画像センサは、画像出力時に動的に構成可能なヒストグラムを生成できます。
デジタル層は低レベルプロトコルと電気パラメータにより形成されます。これらのパラメータはECUインタフェースのPCB設計にも影響しますが、センサ内部には関連する構成パラメータとしてMIPI CSI-2通信モジュールのオンライン構成と位相ロックループ (PLL) が生成するクロックレートが含まれ、これらが最終的に出力フレームレートを駆動します。 また、温度センサやステータスフラグ読み出しなど、レジスタファイルから適切な出力を提供する必要があります。
リアルタイム埋め込みシステムには設計タイミングの厳しい制約 (レイテンシとスループット) があり、計測器インタフェースをビルドする際に注意する必要があります。イメージセンサを機能的にエミュレートするだけでなく、テスト対象デバイスのタイミングの制約内で要求に対応し、データストリームを提供するよう細心の注意が必要です。
NIのソリューションポートフォリオは前述のトピックすべてに対応し、ADAS/AD ECU向けにモジュール式のカスタマイズ可能なテストシステムを提供しています (図4を参照)。
NIの強力なパートナーネットワークを活用して、NIは最も緊密に統合されたECUを除くすべてのECUに対して、カスタマイズされた計測器インタフェースを提供できます。
画像センサエミュレーションIPのリアルタイムコアは、複数のUHDビデオストリームを並行して供給できる専用の高性能ハードウェアプラットフォーム上で実現されたもので、最新の車両ビジョンシステムのニーズをカバーします。さらに、エミュレーションコアは、さまざまな処理段階に意図的にフォルトを挿入して、DUTのエラー処理メカニズムをテストできます。
シミュレーションの面では、NIのハードウェアは、双方向高帯域RDMA over Converged Ethernetデータリンクでループに接続できる、サードパーティ製ソフトウェアシミュレーションに拡張性とオープン性を提供します。オプションのサードパーティ製シミュレーションツールとの互換性は、HDMIデータソースを適応させることで確保できます。
まとめ
図4: プロダクションリリースECUソフトウェアを使用したダイレクトデータ注入のNI HILシステムアーキテクチャ
要約すると、ADAS ECUはセーフティクリティカルなシステムとして、ビデオ注入を重要なタスクとして位置づけるステータス監視による安全装置を使用します。ECUで有効性チェックを行い、現実のテスト運転に類似した認識層から動作を引き出すビデオストリームを生成するには、洗練されたマルチレイヤのリアルタイム画像センサエミュレーションモデルを使用する必要があります。
NIの画像センサ用の高度な光学シミュレーションとリアルタイムエミュレーションにより、現在と将来における世界中のビジョンベースADAS/AD ECUの包括的な検証を行うことができます。NIのソリューションが提供する、ビジョンECUのプロダクションソフトウェアに基づいた検証テストにより、プレリリースソフトウェアを使用した「HILモード」の導入時から存在している確認対象のギャップを埋めることができます。