完整的大規模資料管理解決方案
綜覽
針對工程師與科學家在管理大量測試和模擬資料時所面臨的挑戰，NI 打造了分成 3 個部分的測試資料管理解決方案。當中的主要元件之一是 NI DataFinder 技術，該技術可協助您索引測試檔案以便檢索與搜尋。本技術文件討論如何運用 SystemLink TDM DataFinder Module (另可結合 SystemLink Server)，將這項技術延伸運用於大型團隊與部門。
內容
- 資料管理的痛點
- NI 技術資料管理解決方案
- DIAdem DataFinder 與 SystemLink TDM DataFinder Module
- SystemLink TDM DataFinder Module 的優點
- 結論
- 後續步驟
資料管理的痛點
現今的測試工程師於設計資料擷取系統時，在時間與預算限制上所面臨的挑戰與日俱增。消費者希望以更實惠的價格買到更優質的產品，這也使得系統設計的要求比以往更加嚴格。為了補償不斷減少的利潤，資料擷取系統必須設計 (或演化) 成解決方案，也就是說，這些系統除了能用於初始資料擷取之外，還能在您收集到資料後進行資料管理。如果無法執行有效率的資料管理解決方案，很可能最後會變成您為了能做出明智的工程決策，而浪費寶貴時間 (進而浪費到金錢) 在嘗試從擷取的資料上找出所需資訊。您可能會為了找到並分析您的資料集，以手動方式逐一搜尋以不同格式存放於硬碟各處的檔案，而這些檔案甚至有可能存放在不同機器上。即使只是因為資料管理解決方案不善而導致每星期浪費幾小時的時間，都可能導致整個產品設計週期的預算增加和時間延後，進而使得產品上市時程大幅延後。
諸如手動命名檔案和資料夾的方式，或是標準的資料庫執行等傳統資料管理方法，確實有其獨特的優點，但本身卻無法提供全方位的資料管理解決方案。針對眼前的應用手動整理並命名檔案與資料夾，最直接的優點就是能輕鬆自由地客制化內容，但隨著測試的內容改變與數量增加，這種整理方式就可能變得繁瑣，使得搜尋資料集成為最令人頭疼的作業，或是在不小心重新命名或移動檔案後乾脆放棄處理。Access 或 Oracle 這類的標準資料庫可以輕鬆查詢資料，也能快速檢索資料，但設計與執行的成本所費不貲；如果您需要持續享有客制化與擴充的功能，則還需要投入大量的維護成本與資源。
公司花費大量時間與金錢來設計和執行資料擷取系統，但往往在資料管理上無法完整規劃。如果您在資料擷取方面投入相當程度的時間與金錢，請務必在這些資料的管理上也有相同程度的投資。
NI 技術資料管理解決方案
NI 發現資料管理難題可分為 3 個主要部分：
- 靈活而有條理的檔案儲存
- 可供進階搜尋功能的完整資料索引
- 互動式的資料檢索與後處理環境
有鑑於此，NI 技術資料管理 (TDM) 解決方案亦包含 3 個元件：
- 用於儲存測試檔案與說明資訊的 TDM 資料模型
- 用於索引測試資料以供無視檔案格式搜尋作業的 NI DataFinder
- 用於搜尋、發掘、分析與製作報告的 DIAdem 軟體
用於檔案儲存的 TDM 資料模型，會以邏輯化的方式分級整理資料，並且針對資料集、通道群組與通道層級儲存含有原生與客制化屬性的中繼資訊。TDM 檔案格式完全可以擴充與客制化，因此能產生詳細且記錄完善的測試資料。
圖 1.TDM 資料模型可儲存記錄完善的測試資料
記錄好測試資料與相關屬性後，NI DataFinder (資料管理解決方案中最容易讓人忽略的元件) 就能提供立即可用的測試資料發掘公用程式。NI DataFinder 會自動搜尋您指定的硬碟區域，並且在您資料檔案的元資料裡建立含有重要資訊的索引。索引建立好之後，您便能完全透過 DIAdem，輕鬆以搜尋網際網路的方式來搜尋測試資料，或是進行進階查詢。如此，您就不需要再手動尋找所需的資料集；無論測試資料檔案在硬碟上的整理方式為何，NI DataFinder 都會追蹤其相關資訊。
NI DataFinder 找到相關的資料集後，您就可以使用 DIAdem 從測試資料擷取所需的資訊，並利用 DIAdem 公用程式加以操作、分析，以及建立相關的專業報告。您越能在短時間內有效地分析測試資料並製作相關報告，您的團隊就越能快速做出明智的工程決策。
DIAdem DataFinder 與 SystemLink TDM DataFinder Module
本地的 NI DataFinder 索引，DIAdem DataFinder 會隨著 DIAdem 自動安裝。安裝完成後，DIAdem DataFinder 會需要知道測試資料在硬碟上的位置。您可以設定 DIAdem DataFinder 來索引整個硬碟，也可以指定 (或排除) 測試資料存放於硬碟上的特定位置。如此可以預防因為非必要的索引檔案或資料夾，而造成系統資源負擔的情形，同時能讓您享有可輕鬆擴充的能力，以因應未來指定新搜尋區的需求。
設定好搜尋區後，DIAdem DataFinder 可自動建立並維護所有檔案的索引，以符合您在 DIAdem DataFinder 設定指定的檔案類型與位置準則。所儲存的屬性一旦建立索引後，就能立即在 DIAdem 環境中搜尋。當建立、刪除，或編輯有效的資料檔案後，DIAdem DataFinder 就會立即自動註記檔案的階層與屬性，並重新建立索引。DIAdem DataFinder 將根據檔案事件與其內容，動態管理該資料表格並進行更新。因此，不同於其他昂貴的資料庫解決方案，使用者不需重新考量或設計資料管理解決方案，即可依自己需求變更並新增相關資訊。
圖 2.使用進階搜尋功能，即可迅速發現測試資料中的趨勢與關聯。
DIAdem DataFinder 本身能索引指定搜尋區中的 TDM 與 TDM Streaming 檔案，但舊版和/或第三方資料可能會以不同的檔案格式存在。NI 資料管理解決方案本身就是採模組化設計，並且也已考量到這一實際的問題。為解決整合多種檔案格式的難題，您可以建立並安裝 DataPlugin，將任意資料檔案格式轉換成 TDM 架構，以便簡化整合到 DIAdem 的作業。
圖 3.索引功能將儲存檔案中的所有說明資訊，因此可直接根據這些數值進行搜尋。
DIAdem DataFinder 無疑是 NI 資料管理解決方案的基礎，然而它是專為個人所設計，因此有時無法滿足大型團體需要存取多台機器中資料的需求。因此，NI 提供 2 種資料管理選擇：DIAdem DataFinder 與 SystemLink TDM DataFinder Module。有了 DIAdem DataFinder，就可以輕鬆搜尋儲存於本地索引中的測試資料；不過，隨著您將資料管理解決方案擴充至大型團體或部門，相關需求也會跟著改變。為了滿足這些需求，NI 開發了特別針對大型團體與部門所設計的 SystemLink TDM DataFinder Module。
SystemLink TDM DataFinder Module 的優點
SystemLink TDM DataFinder Module 是根據 DIAdem DataFinder 的概念與技術再擴充並納入多種功能，因此在大型團體中，有多名工程師需要存取可能分散各處的大量資料時，便很適合使用此資料管理工具
減少網路流量
如果測試工程師想不使用 SystemLink 而在多個測試站間搜尋資料，用戶端機器就需要各自建立與該測試站的網路連線。每個用戶端機器的 DIAdem DataFinder 必須索引每個連線測試站的檔案，並持續編目網路，以便讓所有測試站的資料檔案之相關資訊隨時保持最新狀態。如此就會大幅增加網路資源的負擔，因為實際的索引作業是透過網路進行。時間一長，這種額外占用頻寬的方式就會窒礙難行，尤其在需要節省網路頻寬的情況下更是如此。
圖 4.如果只使用本地 DIAdem DataFinder，各個用戶端機器的索引就必須各自連接不同的測試站。
SystemLink TDM DataFinder Module 可以減少這方面的問題，並且有可能加快索引作業，原因在於它的安裝與運作皆在共用伺服器上。這部伺服器會收藏單一的 SystemLink DataFinder 索引，該索引會編目所有已設定測試站的指定搜尋區。接著伺服器就會集中收藏共用的索引。由於用戶端機器可以與中繼伺服器通訊，便不需要再各自介接不同的測試站。當您將資料檔案存放在中繼伺服器並啟用 SystemLink TDM DataFinder Module 後，網路上傳輸的資訊只有實際用戶端索引查詢資料，因此能節省網路資源。
圖 5.SystemLink 將從多個測試站集中元資料，讓使用者可透過 SystemLink TDM DataFinder Module，同步存取並發掘多個用戶端的資料。
多組連線並行
在大規模資料管理時，可能會有多名工程師需要同時擷取有關現有資料檔案的資訊。SystemLink TDM DataFinder Module 原本的設計就是要安裝在執行 Windows Server 作業系統的高頻寬機器上，因此能支援與中央索引最多 25 組的並行用戶端連線。這不僅使得 DIAdem DataFinder 功能大幅提升，在有多人可能需要同時存取集中資料的情況下，更是相當重要的功能。這樣一來，工程師就能同時存取資料檔案，無須擔心其他工程師占用和保留資源，並能更即時地擷取資料。
極精簡的用戶端設定
為了提升作業一致性，並確保即便對用戶端機器設定沒有深度的技術知識也能進行功能擴充，SystemLink TDM DataFinder Module 提供可將用戶端設定從伺服器匯出的功能。使用者只要按幾下滑鼠，就能產生所需的設定來配置用戶端機器，進而順利介接 SystemLink TDM DataFinder Module 建立的索引到單一 *.urf 檔案中。當這個 *.urf 檔案發布到用戶端機器後，只要從硬碟上的對應位置按兩下該檔案，就能輕鬆安裝此設定，系統會自動處理所有的用戶端機器設定，以助您開啟 SystemLink DataFinder 索引的存取權。此外，SystemLink TDM DataFinder Module 能讓使用者匯出 DataPlugin 和用戶端設定，因此您可以確保單一用戶端機器的查詢結果，與另一個用戶端機器的查詢結果完全一樣，無需個別匯出 (稍後還要管理匯入作業) 伺服器上已登錄的 DataPlugin。
圖 6.SystemLink TDM DataFinder Module 讓使用者能夠匯出包含 DataPlugin 的設定，方便您進行用戶端機器設定。
一致性
如果是多個用戶端機器要透過網路存取存放在多個測試站之間的資料，SystemLink TDM DataFinder Module 能確保當中的搜尋區、搜尋結果以及 DataPlugin 保持一致。如果沒有 SystemLink TDM DataFinder Module，您就必須個別設定用戶端 DIAdem DataFinder 來索引搜尋區，而這些搜尋區包含該網路中各個工作站的多重目錄。隨著測試系統日益複雜，加上期間會移除或新增多個用戶端機器或測試站，最後您必須隨時重新設定每個用戶端機器，才能處理好存在於整個系統間的搜尋區。如果您未定期進行維護，在用戶端機器之間設定的搜尋區便有可能不準確或不完整。SystemLink TDM DataFinder Module 採用的方式是安裝在單一中繼伺服器上，再設定由各個用戶端機器與之直接通訊，因此您只需要維護共用的 SystemLink Server 即可，無需維護每個用戶端。
執行 SystemLink TDM DataFinder Module 會產生一個共用的 DataFinder 設定 (因此也會產生共用的元資料索引與搜尋區)，所以能確保所有搜尋結果的一致性。否則，不同用戶端機器所定義的搜尋結果與 DataPlugin 間若有不一致，便可能導致不同機器間的搜尋結果也不一致。不同的測試工程師使用相衝突或不完整的搜尋結果，便可能造成嚴重的通訊問題，進而導致產品開發的時間與金錢成本增加。
使用者管理與安全性
常見的情況是數十甚或數百名測試工程師介接測試系統，以及這些系統所產生的資料檔案。也就是說在參與專案的工程師中，並非所有人都能隨時存取測試站產生的所有資料檔案。基於隱私權、安全性或智慧財產等方面的理由，當您需要限制特定使用者對機密資料檔案與資料夾的存取權時，就會產生各種不同的狀況。
圖 7. SystemLink TDM DataFinder Module 憑藉已設定好的 Windows 權限設定，讓使用者可直接限制機密資料檔案的存取權。
SystemLink TDM DataFinder Module 能直接結合 Windows 作業系統中既有的使用者管理政策。當您透過簡易的設定勾選方塊啟用安全性功能後，SystemLink 就會開始根據當前的權限設定，限制檔案與資料夾的存取權。無需額外進行任何驗證 (使用者只會在登入用戶端機器時由作業系統認證一次)、讀取、寫入，甚至是查詢由索引公開的資料檔案與資料夾之存取權，皆模擬作業系統的使用者管理設定。有了 SystemLink，根據既有政策保護機密資料的方式就會變得簡單明瞭，因為透過簡易的勾選方塊即可啟用安全性功能。
封存
隨著技術持續演進，諸如多核心處理器、記憶體提升、更快的取樣率等因素，加上測試系統日趨複雜，要收集的資料量也不斷增加。雖然硬碟儲存方案相對具經濟效益，但有可能您要儲存 (以及之後的備份) 大量資料時，需要使用封存系統，將資料傳輸到經濟實惠且高容量的儲存媒體 (例如磁帶)。
根據設定的規則，背景系統處理程序會自動將檔案傳輸到封存中。當您傳輸檔案時，該檔案在硬碟中會替換為名稱與屬性相同但空白的「Stub」檔，以表示原始檔案是否存放在封存中。之後您要存取檔案時，這些檔案就會自動從封存還原到硬碟中的原始位置。
NI 與 SER 公司密切合作，並設計出 SystemLink TDM DataFinder Module 以順利整合到 SER 封存系統中。SystemLink 能夠辨識封存檔案，並將封存旗標連同說明性 TDM 與 TDM Streaming 檔案資料儲存到索引中，因此能讓您搜尋與發掘封存資料與硬碟上的資料。
結論
SystemLink TDM DataFinder Module 可延伸 DIAdem DataFinder 的功能，進而提供更可靠的大規模資料管理解決方案。由於現今測試系統日趨複雜，當中往往會用到多個用戶端機器與多個測試站，而 SystemLink 能確實減少網路資源的負擔、維持不同用戶端機器間的搜尋結果一致、簡化安裝程序與用戶端設定作業，還能自動與封存系統和 Windows 使用者權限設定整合。SystemLink TDM DataFinder Module 可讓 DIAdem DataFinder 更加完善，可搭配 NI TDM 解決方案使用，協助您進一步簡化大規模模擬與測試資料管理解決方案。