大规模数据管理全面解决方案

如今，测试工程师在设计数据采集系统时，面临着日益严峻的时间和预算限制。而消费者期望寻求质量更高、价格更低的产品，这进一步对系统设计提出了更加严格的要求。为了弥补不断减少的利润，必须将数据采集系统设计（或演变）为解决方案。也就是说，用户不仅须能够将其用于最初的数据采集，而且在收集到数据后还能进行数据管理。如果没有实现有效的数据管理解决方案，那么为了做出明智的工程决策，在您一遍遍试图从采集的数据中提取信息时可能会浪费宝贵的时间（时间就是金钱）。在查找和分析数据集时，您或许会手动搜索可能以不同格式存储在磁盘不同位置的文件，而这些文件甚至还可能位于不同的机器上。由于低效的数据管理解决方案，即使每周只浪费几个小时，也会造成预算的增加和执行滞后，而这种滞后会在整个产品设计周期中产生连锁反应，严重推迟产品上市时间。

手动的文件和文件夹命名惯例或标准的数据库实现等传统数据管理方法虽然具有独特的优势，但本身并不能提供一种全面的数据管理解决方案。虽然按照适合手头应用程序的方式手动整理和命名文件与文件夹，具有免费和易于自定义的直接优势，但随着测试的变化和发展，整理工作可能会变得繁琐，在搜索数据集时造成相当棘手的问题，并且若不小心重新命名或移动了一个文件，整个机制便会很快崩溃。Access或Oracle等标准数据库查询起来非常简便，还可提供迅速的数据检索，但设计和实现成本极高，如果需要持续进行自定义和扩展，则需要大量的维护和资源。

许多公司投入了相当多的时间和资金来设计和实现他们的数据采集系统，但往往没有对数据管理做全面的规划。如果您在采集数据方面投入巨大，那么在管理这些数据方面也一定要投入所需的时间和资金。

NI已明确数据管理难题的3个关键部分：

• 灵活而井然有序的文件存储
• 可实现高级搜索功能的综合数据索引
• 交互式数据检索和后期处理环境

因此，NI技术数据管理(TDM)解决方案由3个部分组成：

• TDM数据模型，用于存储测试文件的描述性信息
• NI DataFinder，用于索引测试数据，以便进行搜索，不受文件格式限制
• DIAdem软件，用于搜索、挖掘、分析和报表生成

用于文件存储的TDM数据模型能够以层次化的方式有逻辑地整理数据，并存储元信息，其中包含数据集、通道组和通道级别的本地和自定义属性。TDM文件格式是完全可扩展和可自定义的，支持详细、有序地记录测试数据。

图1.用于保存有序记录的测试数据的TDM数据模型

在记录了测试数据和属性后，数据管理解决方案中最容易被忽视的组件NI DataFinder会提供一款现成即用的工具来挖掘测试数据。NI DataFinder会自动搜索硬盘的指定区域，并创建一个索引，其中包含数据文件元数据中的宝贵信息。索引创建后，测试数据就可以通过简单的、类似互联网的搜索，以及使用DIAdem的高级查询实现全面的搜索。您无需再手动寻找想要的数据集，NI DataFinder会跟踪测试数据文件的相关信息，无论它们在磁盘上的排列方式如何。

在NI DataFinder找到相应的数据集后，您可以使用DIAdem从测试数据中提取所需的信息，并利用DIAdem工具与这些数据进行交互、分析数据及创建专业报表。越是能快速高效地分析测试数据并生成报表，团队就能越快地做出明智的工程决策。

DIAdem DataFinder是一个本地NI DataFinder索引，随DIAdem一起自动安装。安装完成后，DIAdem DataFinder需要知道测试数据在磁盘上的位置。您可以配置DIAdem DataFinder，为整个硬盘建立索引，也可以确定（或排除）测试数据在磁盘上的预期特定位置。这可避免因不必要的文件或文件夹索引而增加系统资源开销，同时还可在将来需要指定新的搜索区域时轻松进行扩展。

配置好搜索区域后，对于满足在DIAdem DataFinder配置中指定的文件类型和位置标准的所有文件，DIAdem DataFinder会自动创建和维护相应的索引。存储的属性一旦创建了索引，就可以在DIAdem环境中立即进行搜索。只要对有效数据文件执行创建、删除或编辑操作，DIAdem DataFinder都可自动提示并重新索引此文件的层次结构与属性。DIAdem DataFinder会根据文件事件和各个文件的内容，动态化管理自身的数据表格并进行更新。因此，不同于许多成本高昂的数据库解决方案，您能根据需求的不同改变或添加信息，而无需重新构思或重新设计数据管理解决方案。

图2.使用高级搜索，可以快速发现测试数据中的趋势和相关性。

DIAdem DataFinder本身可以对指定搜索区域的TDM和TDM流文件进行索引，但旧数据和/或第三方数据可能以不同的文件格式存在。NI的数据管理解决方案经过精心设计，具有模块化的特点，同时也考虑到了这一现实问题。为了应对集成多种不同文件格式的挑战，您可以创建和安装数据插件，将任意的数据文件格式转换成TDM结构，以便轻松集成到DIAdem中。

图3.索引存储了一个文件所包含的所有描述性信息，因此可以针对这些值进行挖掘和搜索。

DIAdem DataFinder无疑是NI数据管理解决方案的基石，但它专为个人使用而设计，有时无法满足大型团队需要跨多台机器访问数据的需求。因此，NI提供了两个数据管理选项：DIAdem DataFinder和SystemLink TDM DataFinder模块。借助DIAdem DataFinder，您可在本地索引中轻松搜索存储的测试数据；但是如果数据管理解决方案扩展到大型团队或部门使用，则需求和要求也会随之变化。为满足这些需求，NI专为大型团队和部门设计开发了SystemLink TDM DataFinder模块。

SystemLink TDM DataFinder模块是DIAdem DataFinder概念与技术的延伸，它的部分特性和功能使其成为大型团队的理想数据管理工具，支持多个工程师访问可能存储在多个位置的大量数据

减少网络流量

如果测试工程师想在不使用SystemLink的情况下搜索多个测试台的数据，每台客户端机器都需要与该测试台建立单独的网络连接。每台客户端机器的DIAdem DataFinder必须对与之通信的每个测试台的文件进行索引，持续地抓取网络以保持所有测试台数据文件的信息都处于最新状态。由于实际的索引是通过网络进行的，这大大增加了网络资源压力。随着时间的推移，这种增加使用带宽的做法可能会行不通，特别是在需要节约网络带宽的情况下。

图4.当只使用本地DIAdem DataFinder时，每个客户端机器的索引都必须单独连接到每个测试台。

SystemLink TDM DataFinder模块缓解了这个问题，并有可能提高索引的速度，因为它安装在公共的服务器机器上即可发挥作用。这台服务器机器中有单个SystemLink DataFinder索引，可以抓取所有配置的测试台的指定搜索区域。然后，该服务器机器作为存放共同索引的单个位置。客户端机器不再需要单独与每个测试台对接，因为它们可以与中间的服务器机器进行通信。在中间服务器机器上存储数据文件并启用SystemLink TDM DataFinder模块，可以节省网络资源，因为在网络上传递的唯一信息只有索引的实际客户端查询。 

图5.SystemLink将多个测试台的元数据集中起来，这样就可以通过SystemLink TDM DataFinder模块轻松地同时访问和挖掘多个客户端的数据。

多重并发连接

对于大规模的数据管理，多个工程师可能需要同时检索现有数据文件的信息。由于SystemLink TDM DataFinder模块设计为安装在运行Windows服务器操作系统的高带宽机器上，它可以支持多达25个与中央索引的并发客户端连接，这一数值相比DIAdem DataFinder有了显著提高，在多人可能需要同时访问集中数据的情况下，这项功能的重要性不言而喻。借此，工程师可以同时获得对数据文件的访问，而不必担心其他工程师占用和预留资源，并能够更迅速地检索数据。

充分减少客户端设置

为了促成一致性并确保可扩展性，使用SystemLink TDM DataFinder模块，您无需拥有深厚的客户端机器配置技术知识，便能够从服务器上导出客户端配置。只需单击几下鼠标，就可以将配置客户端机器所需的所有设置生成为一个*.urf文件，与SystemLink TDM DataFinder模块创建的索引无缝对接。当此*.urf文件分配到客户端机器上时，此配置的安装就如同从文件的磁盘位置双击该文件一样简单，所有客户端机器的配置都可自动完成，并帮助开启对SystemLink DataFinder索引的访问。由于通过SystemLink TDM DataFinder模块，您能够将DataPlugins和客户端配置一起导出，您可以保证一台客户端机器的查询结果与另一台客户端机器的查询结果完全一致，而不必单独导出（以及随后管理导入）服务器上每个已注册的数据插件。

图6.使用SystemLink TDM DataFinder模块，您能够导出包含数据插件的配置，简化客户端机器设置。

一致性

当多个客户端机器试图访问同个网络上众多测试台中存储的数据时，SystemLink TDM DataFinder模块可以确保搜索区域、搜索结果和数据插件的一致性。如果没有SystemLink TDM DataFinder模块，则必须单独配置每个客户端DIAdem DataFinder以索引搜索区域，这些区域由网络上各个测试台的多个目录组成。随着测试系统变得愈发复杂，若删除或增加多个客户端机器或测试台，也必须重新配置每个客户端机器，才能确保搜索区域时时刻刻都覆盖整个系统。如果没有定期进行维护，客户端机器之间配置的搜索区域可能会变得不准确或不完整。SystemLink TDM DataFinder模块位于一台中间服务器机器上，每台客户端机器都经过配置，可与之直接通信，所以只需要对公共的SystemLink Server进行维护即可，无需维护每个客户端。

SystemLink TDM DataFinder模块的实现可产生通用的DataFinder配置（因此也可产生通用的元数据索引和搜索区域），所以搜索结果之间的一致性得到了保证。否则，搜索区域和客户端机器上定义的数据插件之间的不一致可能会导致不同机器之间搜索结果的不一致。不同的测试工程师使用的搜索结果出现冲突或不完整，可能会造成沟通上的麻烦，导致产品开发延误，损失惨重。

用户管理和安全性

几十甚至几百个测试工程师使用测试系统及其生成的数据文件是很常见的。也就是说，并不是所有参与项目的工程师都能接触到测试台生成的所有数据文件。出于隐私、安全或知识产权的原因，在某些情况下，会需要限制某些用户对敏感数据文件和文件夹的访问。

图7. 通过利用已经配置好的Windows权限设置，SystemLink TDM DataFinder模块不需要其他操作即可限制对敏感数据文件的访问。

SystemLink TDM DataFinder模块可直接使用Windows操作系统中已有的用户管理政策。在使用简单的配置复选框启用安全功能后，SystemLink就开始根据当前的权限设置来限制对文件和文件夹的访问。在不需要任何额外验证的情况下（用户只需在登录到客户端机器时通过一次操作系统验证即可），对索引显示的数据文件和文件夹的读取、写入，甚至查询访问都模拟了操作系统的用户管理设置。借助SystemLink，根据已有的政策保护敏感数据就像使用一个简单的复选框来启用安全功能一样轻松。

归档

随着技术的不断发展和完善，诸如多核处理器、内存增加和采样速率加快等因素，以及测试系统越来越复杂的事实，使得收集的数据量不断增加。尽管磁盘存储相对来说经济实惠，但在存储（及备份）大量数据的情况下，需要使用归档系统将数据传输到成本较低的大容量存储介质中，如磁带。

根据配置规则，后台系统进程会自动将文件传输到存档。在传输文件时，它会在磁盘上被一个空的“stub”文件取代，后者采用相同的名称和属性，表示原始文件是否已存储在存档中。以后访问文件时，它们会自动从存档中恢复到磁盘上的原始位置。

NI与SER公司密切合作，设计了SystemLink TDM DataFinder模块，可顺利地集成到SER的归档系统中。由于SystemLink可以识别归档文件，并将归档标志与描述性的TDM和TDM流文件数据一起保存在索引中，您可以搜索和挖掘已归档的数据和磁盘上的数据。

SystemLink TDM DataFinder模块可扩展DIAdem DataFinder的功能，为大规模数据管理提供更强大的解决方案。当涉及多个客户端机器和多个测试台时（这在当今日益复杂的测试系统中很常见），SystemLink可确保减少网络资源的压力，保持客户端机器之间的搜索结果一致，简化安装和客户端配置，并自动集成归档系统和Windows用户权限设置。作为DIAdem DataFinder的补充，SystemLink TDM DataFinder模块通过NI TDM解决方案，能够帮助您进一步简化大规模仿真和测试数据管理解决方案。

• 联系销售人员，针对您的应用场景，进一步了解SystemLink TDM DataFinder模块
• 下载SystemLink TDM DataFinder模块和附加软件的评估报告
• 详细了解SystemLink TDM DataFinder模块和附加软件
• 详细了解DIAdem
• 了解如何打造坚实的数据基础，提高效率并降低风险
• 了解TDM如何与ASAM ODS协同运作