大規模データ管理向けの包括的なソリューション
概要
エンジニアや科学者が大量のテストデータやシミュレーションデータを管理する際に直面する問題に対応するため、NIはテストデータ管理のための3つのものからなるソリューションを構築しました。このソリューションの重要なコンポーネントの1つであるNI DataFinderテクノロジは、テストファイルのインデックス作成を支援して、簡単な取得とマイニングを可能にします。このホワイトペーパーでは、SystemLinkサーバで使用できるSystemLink TDM DataFinderモジュールを使用して、このテクノロジを大規模なグループや部門に拡張する方法について説明します。
内容
- データ管理の問題
- NIのテクニカルデータ管理ソリューション
- DIAdem DataFinderとSystemLink TDM DataFinderモジュール
- SystemLink TDM DataFinderモジュールのメリット
- 結論
- 次のステップ
データ管理の問題
今日のテストエンジニアは、データ収集システムを設計する際に、ますます厳しい時間的、予算的な制約に直面しています。消費者がより高品質な製品をより低価格で求める中、システム設計要件は厳しさを増し続けています。減少するマージンを補うため、データ収集システムはソリューションとして設計 (または進化) する必要があります。つまり、最初のデータ収集だけでなく、データを収集した後のデータ管理にも使用できる必要があるのです。効果的なデータ管理ソリューションがないと、貴重な時間 (それによってお金) を無駄にし、取得したデータから情報を抽出し、エンジニアリング上の適切な判断を下すために、貴重な時間 (つまりお金) を浪費してしまうことになりかねません。データセットを見つけて解析するために、ディスク上のさまざまな場所、さらにはさまざまなコンピュータに異なるフォーマットで保存されている可能性があるファイルを、手作業で探すかもしれません。非効率なデータ管理ソリューションのせいで浪費される時間が週に数時間だけであっても、予算の増加や製品設計サイクル全体に及ぶ遅れを引き起こし、市場投入までの期間が大幅に長くなる可能性があります。
手作業によるファイルやフォルダの命名規則や標準的なデータベース実装など、従来型のデータ管理アプローチには独自の利点がありますが、それだけでは包括的なデータ管理ソリューションにはなりません。目の前にあるアプリケーションに合わせてファイルやフォルダを手動で整理して名前を付けることは、自由で簡単にカスタマイズできるという直接的な利点がありますが、テストの変化や成長に伴って整理が面倒になり、データセットを検索する際に非常に頭の痛い問題となり、うっかり名前を変更したり移動したりすると、すぐにお手上げになることがあります。AccessやOracleといった標準的なデータベースは、問い合わせが容易でデータを迅速に取得できますが、設計や実装に非常にコストがかかり、継続的なカスタマイズや拡張が必要な場合は、多大なメンテナンスとリソースが必要になります。
企業は、データ収集システムの設計と実装に多くの時間と費用を費やしていますが、データ管理を綿密に計画しないことがよくあります。データ収集に多額の投資を行う場合は、このデータ管理にも時間と資金を投資する必要があります。
NIのテクニカルデータ管理ソリューション
NIは、データ管理における以下の3つの重要事項を認識しました。
- 柔軟で整理されたファイル保存
- 高度な検索機能のための包括的なデータインデックス
- 対話型のデータ収集と後処理環境
その結果、NIテクニカルデータ管理 (TDM) ソリューションは、以下の3つのコンポーネントで構成されます。
- 記述情報をテストファイルとともに保存するためのTDMデータモデル
- ファイル形式にかかわらずに検索用にテストデータのインデックスを作成するNI DataFinder
- 検索、マイニング、解析、レポート作成用のDIAdemソフトウェア
ファイル保存用のTDMデータモデルは、データを論理的に階層構造で整理し、データセットとチャンネルグループ、チャンネルレベルそれぞれに関するネイティブプロパティとカスタムプロパティの両方を含んだメタ情報を記録します。TDMファイル形式は完全な拡張性とカスタマイズ性を備えるため、テストデータに詳細かつ豊富な情報を付加することが可能です。
図1.ドキュメントで十分に立証されたテストデータを保存できるTDMデータモデル
テストデータをプロパティとともに文書化した後、データ管理ソリューションで最も見落とされているコンポーネントであるNI DataFinderには、テストデータをマイニングするためのユーティリティをすぐに利用できます。NI DataFinderは、ハードディスクの指定された領域を自動的に検索し、貴重な情報を含むインデックスをデータファイルのメタデータの中に作成します。インデックスを作成したテストデータは、インターネットのような簡単な検索を使用したり、DIAdemを使った高度なクエリを使用して検索できます。必要なデータセットを手作業で探す必要はありません。NI DataFinderは、テストデータファイルがディスク上にどのように配置されていても、関連する情報を常に把握し続けます。
NI DataFinderが適切なデータセットの格納場所を特定すると、ユーザはDIAdemを用いてテストデータから必要な情報を抽出できるようになります。さらに、DIAdemが備えるユーティリティを活用して、抽出したデータのやり取りや解析が可能な他、専門的なレポートを作成することも可能です。テストデータの解析やレポート作成を効率化してスピードを高めれば高めるほど、チームはより短時間で、根拠ある工学的意思決定を下せるようになります。
DIAdem DataFinderとSystemLink TDM DataFinderモジュール
ローカルなNI DataFinderインデックスであるDIAdem DataFinderは、DIAdemとともに自動的にインストールされます。インストールされたDIAdem DataFinderは、ディスク上でテストデータを検索する場所を知る必要があります。ハードディスク全体のインデックスを作成するようにDIAdem DataFinderを構成することもできますが、ディスク上のテストデータが格納されているはずの特定の場所を指定 (または除外) することもできます。これにより、不要なファイルやフォルダのインデックス作成によって生じるシステムリソースのオーバーヘッドを防ぐうえ、将来新しい検索領域を指定する必要が生じた場合にも簡単に拡張することが可能になります。
検索領域を構成した後、DIAdem DataFinderは、DIAdem DataFinderの構成で指定したファイルタイプと位置の基準を満たすすべてのファイルのインデックスを自動で作成し管理します。保存されているプロパティのインデックスを作成すると、DIAdem環境内ですばやく検索できるようになります。有効なデータファイルが作成されたり、削除されたり、編集されたりするとすぐに、DIAdem DataFinderが自動的に認識してこのファイルの階層とプロパティのインデックスを作成し直します。DIAdem DataFinderは、データテーブルを動的に管理し、ファイルのイベントと各ファイルの内容に基づいてアップデートします。そのため、多くの高価なデータベースソリューションと異なり、要件が変化した場合でも、データ管理ソリューションの再検討や再設計を行うことなく、情報の変更や追加ができます。
図2.詳細検索ではテストデータ内の傾向と相関関係をすばやく把握可能
DIAdem DataFinderは、TDMやTDMストリーミングのファイルに対して、検索領域を指定してインデックスを作成できますが、レガシーデータやサードパーティのデータが異なるファイル形式で存在していても構いません。NIのデータ管理ソリューションはモジュール式で設計されており、この現実を考慮しています。多種多様なファイル形式の統合という課題に対応するため、任意のデータファイル形式をTDM構造に「変換」するデータプラグインを作成しインストールすることで、DIAdemに簡単に統合することができます。
図3.インデックスにはファイル内のすべての記述情報が保存され、それらの値を検索条件としてデータのマイニングや検索を実行可能
DIAdem DataFinderはまぎれもなくNIデータ管理ソリューションの基盤です。個人向けに設計されているため、複数のマシンからデータへアクセスする大規模なグループのニーズには合わない場合があります。そのため、NIでは2種類のデータ管理製品、DIAdem DataFinderとSystemLink TDM DataFinderモジュールを提供しています。DIAdem DataFinderでは、ローカルのインデックス内に保存されたテストデータを簡単に検索できますが、データ管理ソリューションを大規模なグループや部署に拡張していくにつれ、ニーズや要件は変わっていきます。こうしたニーズに応えるため、NIでは、大規模なグループや部署に特化して設計されたSystemLink TDM DataFinderモジュールを開発しました。
SystemLink TDM DataFinderモジュールのメリット
SystemLink TDM DataFinderモジュールは、DIAdem DataFinderの概念とテクノロジを拡張し、大規模部署での使用に最適な機能や性能を備えたデータ管理ツールです。そうした部署では、複数の場所に分散して保存されている大容量のデータに、数多くのエンジニアがアクセスできる環境が求められます。
ネットワークトラフィックを軽減
テストエンジニアが、SystemLinkを使用せずに複数のテストステーションにまたがってデータを検索する必要がある場合、各クライアントコンピュータはそのテストステーションとのネットワーク接続を個別に確立する必要があります。各クライアントコンピュータのDIAdem DataFinderは、すべてのステーションにあるデータファイルに関する最新の情報を維持するために、ネットワークを常に巡回しながら、通信する各テストステーションのファイルのインデックスを作成する必要があります。実際のインデックス作成はネットワーク越しに行われるため、これによりネットワークリソースへの負荷が劇的に高まります。特にネットワーク帯域幅を節約する必要があるシナリオでは、時間の経過とともに、使用される帯域幅の増加は現実的でなくなる可能性があります。
図4.ローカルマシン向けのDIAdem DataFinderのみを使用する場合、各クライアントマシンのインデックスは、1つ1つのテストステーションと個別に接続を確立しなければならない
SystemLink TDM DataFinderモジュールは、共通のサーバコンピュータにインストールされて動作するため、この問題が改善され、より高速にインデックスを作成できるようになります。このサーバコンピュータは、単一のSystemLink DataFinderインデックスを保持しており、構成されているすべてのテストステーションの指定された検索領域を巡回します。そしてサーバコンピュータは、共通のインデックスが格納される単一の場所として機能します。クライアントコンピュータは、中間に位置するサーバコンピュータと通信すればよいため、各テストステーションと個別にやり取りする必要がなくなります。中間に位置するサーバコンピュータにデータファイルを格納してSystemLink TDM DataFinderモジュールを有効にすれば、ネットワークリソースを節約できます。ネットワーク上でやり取りされる唯一の情報は、インデックスに対するクライアントクエリのみになるからです。
図5.SystemLink TDM DataFinderモジュールが複数のテストステーションのメタデータを集中的に管理するため、複数のクライアントから同時にこのメタデータにアクセスしたりマイニングしたりすることが可能である
複数の同時接続を確立
大規模なデータ管理では、複数のエンジニアが既存のデータファイルに関する情報を同時に取得することが必要な場合があります。SystemLink TDM DataFinderモジュールは、Windowsサーバオペレーティングシステムが動作する広帯域コンピュータにインストールするように作られているため、最大で25台のクライアントが同時に中央のインデックスに接続できます。これはDIAdem DataFinderと比べて飛躍的な増加であり、一度に複数の人が一元化されたデータにアクセスする必要があるシナリオでは重要な機能となります。これにより、エンジニアはデータファイルに同時にアクセスでき、他のエンジニアがリソースを確保していることを心配せずに、よりすばやくデータを取得できます。
クライアントのセットアップにかかる手間を最小化
一貫性を高め、クライアントコンピュータの構成に関する詳しい技術的知識がなくても拡張性を確保できるように、SystemLink TDM DataFinderモジュールでは、クライアントの構成をサーバからエクスポートできます。マウスを数回クリックするだけで、クライアントコンピュータを構成するために必要なすべての設定を生成できます。生成された1つの*.urfファイルを使用すれば、SystemLink TDM DataFinderモジュールによって作成されたインデックスにシームレスにアクセスできます。この*.urfをクライアントコンピュータに配布すれば、ディスク上のファイルをダブルクリックするだけでこの構成が簡単にインストールされます。クライアントコンピュータの構成は自動的に処理され、SystemLink DataFinderインデックスにアクセスできるようになります。SystemLink TDM DataFinderモジュールでは、クライアント構成とともにデータプラグインをエクスポートできるため、あるクライアントコンピュータからのクエリの結果が別のクライアントコンピュータでの結果と同じであることが保証され、登録されている各データプラグインをサーバで個別にエクスポート (そしてその後インポートを管理) する必要はありません。
図6.SystemLink TDM DataFinderモジュールは、構成をデータプラグインも含めてエクスポートする機能を備えているため、クライアントコンピュータを簡単にセットアップできる
一貫性を確保
複数のクライアントコンピュータが、ネットワーク上の多数のテストステーションに分散して格納されているデータにアクセスしようとする状況では、SystemLink TDM DataFinderモジュールにより検索領域、検索結果、データプラグインの一貫性が保証されます。SystemLink TDM DataFinderモジュールがないと、ネットワークのそれぞれのテストステーションにある複数のディレクトリからなる検索領域についてインデックスを作成するように、それぞれのクライアントのDIAdem DataFinderを個別に構成する必要があります。テストシステムが複雑になり、複数のクライアントコンピュータやテストステーションを削除または追加していくと、システム全体にまたがって存在する検索エリアに対応させるために、各クライアントコンピュータを随時再構成する必要があります。定期的な保守を行わないと、クライアントコンピュータ間で構成された検索領域が不正確になったり不完全になったりするおそれがあります。SystemLink TDM DataFinderモジュールは1台の中間に配置されたサーバコンピュータに存在し、各クライアントコンピュータはサーバと直接通信するように構成されるため、保守はクライアントごとでなく共通のSystemLinkサーバで行うだけで済みます。
SystemLink TDM DataFinderモジュールを実装することで、1つの共通のDataFinder構成 (つまり共通のメタデータインデックスと検索領域) が得られるため、複数の検索結果の間で一貫性が保証されます。このモジュールを使用しない場合、クライアントコンピュータで定義されている検索領域とデータプラグインに不整合があると、異なるコンピュータでの検索結果に矛盾が生じる可能性があります。異なるテストエンジニアが矛盾する検索結果や不完全な検索結果を使用すると、コミュニケーション上の問題が生じ、製品開発が遅れて費用がかさむことになりかねません。
ユーザ管理とセキュリティ
数十人から数百人のテストエンジニアがテストシステムとそこから生成されるデータファイルを使用することはよくあります。とはいえ、プロジェクトに関わるすべてのエンジニアが、テストステーションによって生成されるすべてのデータファイルに常にアクセスしてよいわけではありません。プライバシー、セキュリティ、知的財産上の理由から、特定のユーザによる機密データファイルやフォルダへのアクセスを制限しなければならない状況が生じます。
図7. SystemLink TDM DataFinderモジュールでは、すでに構成済みのWindowsユーザ認証設定を利用することで、機密性の高いデータファイルへのアクセス制限を追加作業の手間なく設定できる
SystemLink TDM DataFinderモジュールは、Windowsオペレーティングシステムの一部としてすでに存在しているユーザ管理ポリシーと直接インタフェースします。シンプルな構成チェックボックスでセキュリティを有効にすると、SystemLinkは現在の権限設定に基づいて、ファイルやフォルダへのアクセス制限を開始します。追加の検証を行うことなく (ユーザは、クライアントコンピュータにログインする際に、オペレーティングシステムによって一度だけ認証されます)、インデックスにより公開されているデータファイルとフォルダの読み取り、書き込み、クエリアクセスは、オペレーティングシステムのユーザ管理設定どおりに動作します。SystemLinkを使えば、シンプルなチェックボックスを使ってセキュリティを有効にするだけで、すでに設定されているポリシーに従って機密データを簡単に保護できます。
アーカイビング
技術が進化し改良され続ける中で、マルチコアプロセッサ、メモリの増加、サンプリングレートの向上などの要素に加えて、テストシステムがますます複雑化するのに伴い、収集されるデータ量も増加の一途をたどっています。ディスクストレージは比較的費用対効果が高いものですが、大量のデータを保存 (そしてバックアップ) する状況では、データを磁気テープなどの安価で大容量の記憶媒体に転送するアーカイブシステムが必要になります。
構成されたルールに基づいて、バックグラウンドシステムプロセスがファイルをアーカイブに自動的に転送します。転送されたファイルは、ディスク上のファイルは、同じ名前と、元のファイルがアーカイブに格納されているかどうかを示す属性を持つ空の「スタブ」ファイルで置き換えられます。後でファイルにアクセスすると、ファイルはアーカイブからディスク上の元の場所に自動的に復元されます。
NIは、SER社との密接な協力の下、SER社のアーカイブシステムにスムーズに統合できるようにSystemLink TDM DataFinderモジュールを設計しました。SystemLinkはアーカイブされたファイルを認識し、TDMおよびTDMストリーミングファイルの記述データとともにアーカイブフラグをインデックスに保存できるため、アーカイブされたデータをディスク上のデータとともに検索およびマイニングできます。
結論
SystemLink TDM DataFinderモジュールは、DIAdem DataFinderの機能を拡張し、大規模なデータ管理のためのより堅牢なソリューションを提供します。複数のクライアントコンピュータと複数のテストステーションが関係することは、今日のますます複雑化するテストシステムではよくあることですが、そのような場合でも、SystemLinkはネットワークリソースへの負荷を減らし、クライアントコンピュータ間での検索結果の一貫性を保証し、インストールとクライアントの構成を容易にし、アーカイビングシステムとWindowsユーザ権限設定に自動的に統合されます。SystemLink TDM DataFinderモジュールは、DIAdem DataFinderを補完し、NIのTDMソリューションによる大規模シミュレーションおよびテストデータ管理ソリューションをさらに効率化します。