Una solución integral para gestión de datos a gran escala.

Información general

En respuesta a los desafíos que enfrentan los ingenieros y científicos al administrar grandes cantidades de datos de pruebas y simulación, NI ha creado una solución de tres piezas para la gestión de datos de pruebas. Un componente clave de esta solución, la tecnología NI DataFinder, lo ayuda a indexar archivos de pruebas para una recuperación y extracción sencillas. Este documento analiza la expansión de esta tecnología para grandes grupos y departamentos con el SystemLink TDM DataFinder Module, que puede usar con SystemLink Server.

Contenido

Los puntos débiles de la gestión de datos

Hoy en día los ingenieros de pruebas se enfrentan a restricciones de presupuesto y de tiempo cada vez más desafiantes al diseñar sistemas de adquisición de datos. La demanda de los consumidores por productos de mayor calidad a precios más bajos continúa imponiendo requisitos de diseño más estrictos para los sistemas. Para compensar los márgenes decrecientes, los sistemas de adquisición de datos deben diseñarse (o evolucionar) para ser soluciones , es decir, usted debe poder usarlos no solamente para la adquisición inicial de datos, sino también para la gestión de datos una vez que usted haya recopilado los datos. Sin la implementación de una solución de gestión de datos efectiva, usted puede terminar perdiendo tiempo valioso (y por lo tanto, dinero) tratando de extraer información de los datos adquiridos para poder tomar decisiones de ingeniería informadas. Usted puede recurrir a la búsqueda manual a través de archivos que probablemente estén almacenados en diferentes formatos y en diferentes ubicaciones en el disco, y seguramente en diferentes máquinas, para encontrar y analizar sus conjuntos de datos. Incluso unas pocas horas a la semana desperdiciadas debido a una solución de gestión de datos ineficiente pueden causar aumentos en presupuesto y demoras que pueden propagarse a lo largo de todo el ciclo de diseño del producto, lo que aumenta drásticamente el tiempo de comercialización.

Los enfoques tradicionales de gestión de datos, como las convenciones de nomenclatura manual de archivos y carpetas o las implementaciones de bases de datos estándares, ofrecen beneficios únicos, pero no brindan una solución integral de gestión de datos por sí mismos. Si bien organizar y nombrar manualmente sus archivos y carpetas de tal manera que se adapten a la aplicación en cuestión tiene la ventaja de ser gratuito y fácilmente personalizable, la organización puede volverse tediosa a medida que las pruebas cambian y crecen, causando problemas al buscar conjuntos de datos y puede colapsarse rápidamente cuando un archivo se cambia de nombre o se mueve sin darse cuenta. Las bases de datos estándares, como Access u Oracle, se consultan fácilmente y brindan una rápida recuperación de datos, pero son extremadamente costosas de diseñar e implementar y requieren un mantenimiento y recursos importantes si usted necesita una continua personalización y capacidad de expansión.

Las compañías dedican una cantidad considerable de tiempo y dinero a diseñar e implementar sus sistemas de adquisición de datos, pero por lo general no logran planificar minuciosamente la gestión de datos. Si usted invierte mucho en la adquisición de sus datos, asegúrese de invertir el tiempo y el dinero necesarios en la gestión de estos datos también.

Solución de gestión de datos técnicos de NI

NI ha identificado tres piezas clave para el rompecabezas de la gestión de datos:

  • Almacenamiento de archivos flexible y organizado
  • Un índice de datos completo para capacidades avanzadas de búsqueda
  • Entorno interactivo de recuperación y posprocesamiento de datos

Como resultado, la solución de gestión de datos técnicos (TDM) de NI consta de tres componentes:

  • El modelo de datos TDM para almacenar información descriptiva con sus archivos de pruebas
  • NI DataFinder para indexar datos de pruebas para búsqueda sin importar el formato de archivo
  • Software DIAdem para búsqueda, extracción, análisis y reportes

El modelo de datos de TDM para el almacenamiento de archivos organiza los datos de manera lógica en forma jerárquica y almacena meta información que contiene propiedades tanto nativas como personalizadas para el conjunto de datos, el grupo de canales y el nivel de canal. El formato de archivo TDM es completamente expansible y personalizable, lo que permite datos de pruebas detallados y bien documentados.

Figura 1. Modelo de datos TDM para guardar datos de pruebas bien documentados

Una vez que haya documentado sus datos de prueba con propiedades, NI DataFinder, el componente más ignorado en las soluciones de gestión de datos, proporciona una utilidad lista para usar para extraer datos de pruebas. NI DataFinder busca automáticamente áreas específicas de su disco duro y crea un índice que contiene información valiosa dentro de los metadatos de sus archivos de datos. Una vez indexados, los datos de pruebas se pueden buscar mediante búsquedas sencillas similares a las de Internet, así como consultas avanzadas utilizando DIAdem. Usted ya no tiene que buscar manualmente los conjuntos de datos que desea; NI DataFinder realiza un seguimiento de la información pertinente en los archivos de datos de pruebas, sin importar cómo estén organizados en el disco.

Después de que NI DataFinder localice los conjuntos de datos apropiados, usted puede usar DIAdem para extraer la información que necesita de sus datos de pruebas y aprovechar las utilidades de DIAdem para interactuar, analizar y crear informes profesionales a partir de esos datos. Cuanto más rápido usted pueda analizar y crear reportes de datos de pruebas de manera efectiva, más rápido su equipo podrá tomar decisiones de ingeniería informadas.

DIAdem DataFinder y el SystemLink TDM DataFinder Module

Un índice local de NI DataFinder, DIAdem DataFinder se instala automáticamente con DIAdem. Una vez instalado, DIAdem DataFinder necesita saber dónde encontrar sus datos de pruebas en el disco. Usted puede configurar DIAdem DataFinder para indexar todo su disco duro, pero también puede identificar (o excluir) ubicaciones específicas en el disco donde espera que se encuentren los datos de pruebas. Esto evita la sobrecarga de recursos del sistema que resulta en índices innecesarios de archivos o carpetas, y permite una fácil escalabilidad en caso de que usted necesite especificar nuevas áreas de búsqueda en el futuro.

Una vez que haya configurado las áreas de búsqueda, DIAdem DataFinder crea y mantiene automáticamente un índice de todos los archivos que cumplen con el tipo de archivo y los criterios de ubicación que usted especificó en la configuración de DIAdem DataFinder. Las propiedades almacenadas, una vez indexadas, se pueden buscar al instante desde el entorno DIAdem. Cuando se crea, elimina o edita un archivo de datos válido, DIAdem DataFinder notifica automáticamente y vuelve a indexar la jerarquía y las propiedades de este archivo. DIAdem DataFinder administra dinámicamente sus propias tablas de datos y las actualiza basándose en eventos y contenidos de cada archivo. Por lo tanto, a diferencia de muchas soluciones de bases de datos costosas, usted puede cambiar o agregar información a medida que cambian los requisitos sin reconsiderar o rediseñar su solución de gestión de datos.

Usando la búsqueda avanzada, usted puede encontrar rápidamente tendencias y correlaciones dentro de los datos de sus pruebas.

Figura 2. Con la búsqueda avanzada, usted puede encontrar rápidamente tendencias y correlaciones entre los datos de sus pruebas.

DIAdem DataFinder puede indexar inherentemente archivos TDM y TDM Streaming con áreas de búsqueda específicas, pero los datos heredados y/o de terceros pueden existir en un formato de archivo diferente. La solución de gestión de datos de NI fue diseñada para ser de naturaleza modular y tomar en cuenta esta realidad. Para enfrentar el desafío de integrar diferentes formatos de archivo, usted puede crear e instalar DataPlugins de datos que "traducen" formatos de archivos de datos arbitrarios a la estructura TDM para una fácil integración en DIAdem.

 El índice almacena toda la información descriptiva incluida en un archivo, así usted puede extraer y buscar estos valores

Figura 3. El índice almacena toda la información descriptiva incluida en un archivo, así usted puede extraer y buscar estos valores.

El DIAdem DataFinder, sin duda, es la pieza clave de la solución de gestión de datos de NI y está diseñado para individuos y ocasionalmente no satisface las necesidades de grupos más grandes que acceden a datos a través de múltiples máquinas. Como resultado, NI ofrece dos opciones de gestión de datos: DIAdem DataFinder y el SystemLink TDM DataFinder Module. Con DIAdem DataFinder, puede buscar fácilmente datos de prueba almacenados en su índice local; sin embargo, las necesidades y los requisitos cambian a medida que usted expande una solución de gestión de datos a grandes grupos o departamentos. Para satisfacer estas necesidades, NI desarrolló el SystemLink TDM DataFinder Module específicamente para grandes grupos y departamentos.

Beneficios del SystemLink TDM DataFinder Module

El SystemLink TDM DataFinder Module amplía el concepto y la tecnología de DIAdem DataFinder e incluye varias características y capacidades que lo convierten en la herramienta de gestión de datos ideal para grupos grandes en los que varios ingenieros necesitan acceder a grandes cantidades de datos posiblemente almacenados en múltiples ubicaciones.

Menor tráfico de red

Si los ingenieros de pruebas quisieran buscar datos en múltiples estaciones de prueba sin usar SystemLink, cada máquina cliente requeriría establecer una conexión de red individual con esa estación de pruebas. El DIAdem DataFinder de cada máquina cliente tendría que indexar los archivos de cada una de las estaciones de prueba con las que se comunica, rastreando constantemente la red para mantener información actualizada sobre los archivos de datos en todas las estaciones de pruebas. Esto aumenta drásticamente la tensión sobre los recursos de la red porque la indexación real se lleva a cabo a través de la red. Con el tiempo, este aumento en el ancho de banda utilizado puede volverse poco factible, especialmente en escenarios en los que es necesario conservar el ancho de banda de la red.

Cuando se usa solo el DIAdem DataFinder local, el índice de cada máquina cliente debe conectarse a cada estación de prueba de manera individual

Figura 4. Cuando se usa solo el DIAdem DataFinder local, el índice de cada máquina cliente debe conectarse a cada estación de prueba de manera individual.

El SystemLink TDM DataFinder Module alivia este problema y conduce a una indexación potencialmente más rápida porque se instala y funciona en una máquina de servidor común. Esta máquina servidor aloja el único índice SystemLink DataFinder, que rastrea las áreas de búsqueda especificadas de todas las estaciones de prueba configuradas. Entonces la máquina servidor funciona como una única ubicación en la que se aloja el índice común. Las máquinas cliente ya no necesitan interactuar con cada estación de prueba individualmente porque pueden comunicarse con la máquina servidor intermedia. Cuando usted almacena archivos de datos y habilita el SystemLink TDM DataFinder Module en una máquina servidor intermedia, conserva los recursos de la red porque la única información que viaja por la red son las consultas del cliente del índice. 

SystemLink TDM DataFinder Module.

Figura 5. SystemLink centraliza los metadatos de múltiples estaciones de prueba para que usted pueda acceder y extraerlos fácilmente con múltiples clientes simultáneamente con el SystemLink TDM DataFinder Module.

Múltiples conexiones simultáneas

Para la gestión de datos a gran escala, es posible que varios ingenieros necesiten recuperar información sobre los archivos de datos existentes al mismo tiempo. Debido a que el SystemLink TDM DataFinder Module está diseñado para instalarse en una máquina de alto ancho de banda que ejecuta un sistema operativo de servidor Windows, puede soportar hasta 25 conexiones de clientes simultáneas en el índice central, un aumento significativo en DIAdem DataFinder y una característica importante en escenarios donde varias personas pueden necesitar acceso a datos centralizados al mismo tiempo. Esto permite a los ingenieros obtener acceso simultáneamente a los archivos de datos, sin preocuparse de que otros ingenieros ocupen y reserven recursos, y recuperar datos de forma más inmediata.

Configuración mínima del cliente

Para promover la consistencia y garantizar que la capacidad de expansión no requiera un conocimiento técnico profundo para la configuración de la máquina del cliente, el SystemLink TDM DataFinder Module le brinda la capacidad de exportar configuraciones del cliente desde el servidor. Con unos pocos clics del mouse, usted puede generar todas las configuraciones necesarias para configurar las máquinas cliente para que interactúen perfectamente con el índice creado por el SystemLink TDM DataFinder Module en un archivo *.urf. Una vez que este *.urf se distribuye a las máquinas cliente, la instalación de esta configuración es tan fácil como hacer doble clic en el archivo desde su ubicación en el disco, lo que automáticamente se ocupa de toda la configuración de la máquina cliente y le ayuda a abrir el acceso al índice de SystemLink DataFinder. Y debido a que el SystemLink TDM DataFinder Module le brinda la capacidad de exportar DataPlugins junto con la configuración del cliente, usted puede estar seguro de que los resultados de las consultas de una máquina cliente son idénticos a los de otra máquina cliente sin tener que exportar individualmente (y luego administrar la importación) de cada DataPlugin registrado en el servidor.

El SystemLink TDM DataFinder Module le brinda la capacidad de exportar configuraciones, que pueden incluir DataPlugins, para una fácil configuración de la máquina del cliente.

Figura 6. El SystemLink TDM DataFinder Module le brinda la capacidad de exportar configuraciones, que pueden incluir DataPlugins, para una fácil configuración de la máquina del cliente.

Consistencia

En situaciones en las que varias máquinas cliente intentan acceder a los datos almacenados en muchas estaciones de prueba en una red, el SystemLink TDM DataFinder Module garantiza la coherencia en las áreas de búsqueda, los resultados de la búsqueda y los DataPlugins. Sin el SystemLink TDM DataFinder Module, usted debe configurar individualmente cada cliente DIAdem DataFinder para indexar áreas de búsqueda que constan de varios directorios en cada una de las estaciones de prueba de la red. A medida que aumenta la complejidad de los sistemas de pruebas y usted elimina o agrega varias máquinas cliente o estaciones de prueba, debe volver a configurar cada máquina cliente para tener en cuenta las áreas de búsqueda presentes en todo el sistema en un momento determinado. Si usted no realiza un mantenimiento regular, las áreas de búsqueda configuradas entre las máquinas cliente pueden volverse inexactas o incompletas. Debido a que el SystemLink TDM DataFinder Module reside en una máquina servidor intermedia con cada máquina cliente configurada para comunicarse directamente con ella, usted debe realizar el mantenimiento solo en el servidor SystemLink común en lugar de en cada cliente.

La implementación del SystemLink TDM DataFinder Module produce una configuración común de DataFinder (y, por lo tanto, un índice de metadatos y áreas de búsqueda comunes), así se garantiza la coherencia entre los resultados de la búsqueda. De lo contrario, las inconsistencias entre las áreas de búsqueda y los DataPlugins definidos en las máquinas cliente pueden generar inconsistencias en los resultados de búsqueda entre las diferentes máquinas. Distintos ingenieros de pruebas que utilizan resultados de búsqueda contradictorios o incompletos podrían causar problemas en la comunicación que se traducen en costosas demoras en el desarrollo del producto.

Gestión de usuarios y seguridad

Es común tener docenas o incluso cientos de ingenieros de pruebas interactuando con los sistemas de pruebas y los archivos de datos que generan. Dicho esto, no todos los ingenieros involucrados en un proyecto deben tener acceso a todos los archivos de datos generados por las estaciones de prueba. Por razones de privacidad, seguridad o propiedad intelectual, surgen situaciones en las que usted necesita restringir el acceso de ciertos usuarios a archivos y carpetas de datos confidenciales.

Al aprovechar los ajustes de permisos de Windows ya configurados, el SystemLink TDM DataFinder Module no requiere trabajo adicional para restringir el acceso a archivos de datos confidenciales.

Figura 7. Al aprovechar los ajustes de permisos de Windows ya configurados, el SystemLink TDM DataFinder Module no requiere trabajo adicional para restringir el acceso a archivos de datos confidenciales.

El SystemLink TDM DataFinder Module interactúa directamente con las políticas de administración de usuarios ya implementadas como parte del sistema operativo Windows. Cuando usted habilita la seguridad a través de una casilla de verificación de configuración, SystemLink comienza a restringir el acceso a archivos y carpetas de acuerdo a la actual configuración de permisos. Sin requerir ninguna verificación adicional (el sistema operativo autentica a los usuarios solo una vez cuando inician sesión en la máquina cliente), el acceso de lectura, escritura e incluso consulta a los archivos y carpetas de datos expuestos por el índice imita la configuración de administración de usuarios del sistema operativo. Con SystemLink, proteger los datos confidenciales de acuerdo con las políticas ya implementadas es tan sencillo como usar una simple casilla de verificación para habilitar la seguridad.

Archivar

A medida que la tecnología continúa evolucionando y mejorando, factores como los procesadores multinúcleo, el aumento de la memoria y las velocidades de muestreo más rápidas, junto con el hecho de que los sistemas de pruebas son cada vez más complejos, dan como resultado la recopilación de cantidades de datos cada vez mayores. Si bien el almacenamiento en disco es relativamente rentable, las situaciones en las que usted almacena (y, por lo tanto, realiza copias de seguridad) grandes cantidades de datos requieren sistemas de archivo que transfieran datos a medios de almacenamiento económicos y de alta capacidad, como cintas magnéticas.

Según las reglas configuradas, los procesos del sistema en segundo plano transfieren automáticamente los archivos al archivo. Cuando usted transfiere un archivo, se reemplaza en el disco con un archivo "stub" vacío con el mismo nombre y atributos que indican si el archivo original está almacenado en el archivo. Cuando usted accede a los archivos más tarde, se restauran automáticamente desde el archivo a sus ubicaciones originales en el disco.

En estrecha colaboración con la compañía SER, National Instruments ha diseñado el SystemLink TDM DataFinder Module para integrarse en el sistema de archivo SER. Debido a que SystemLink puede reconocer archivos almacenados y guardar el indicador de archivo junto con datos descriptivos de archivos TDM y TDM Streaming en el índice, usted puede buscar y extraer datos archivados junto con datos en el disco.

Conclusión

El SystemLink TDM DataFinder Module amplía las capacidades de DIAdem DataFinder para ofrecer una solución más robusta para la gestión de datos a gran escala. Cuando se involucran múltiples máquinas cliente y múltiples estaciones de prueba, como es común en los sistemas de pruebas cada vez más complejos de la actualidad, SystemLink garantiza una menor tensión en los recursos de la red, resultados de búsqueda consistentes entre las máquinas cliente, facilidad de instalación y configuración del cliente, e integración automática con sistemas de archivo y configuración de permisos de usuario de Windows. Como complemento de DIAdem DataFinder, el SystemLink TDM DataFinder Module puede ayudarlo a optimizar aún más las soluciones de gestión de datos de pruebas y simulación a gran escala con la solución NI TDM.