Une solution complète pour la gestion de données à grande échelle

Aujourd’hui, les ingénieurs de test sont de plus en plus confrontés à des contraintes de temps et de budget lors de la conception de systèmes d’acquisition de données. La demande de produits de meilleure qualité à moindre coût continue d’imposer des exigences plus strictes en matière de conception de systèmes. Pour compenser la baisse des marges, les systèmes d’acquisition de données doivent être conçus (ou évoluer) pour constituer des solutions. Autrement dit, vous devez pouvoir les utiliser pour l’acquisition initiale et la gestion des données une fois que vous les avez collectées. Sans l’implémentation d’une solution de gestion de données efficace, vous risquez de perdre un temps précieux (et donc de l’argent) à essayer d’extraire des informations de vos données acquises pour pouvoir prendre des décisions éclairées en matière d’ingénierie. Pour trouver et analyser vos ensembles de données, vous pouvez être amené à rechercher manuellement des fichiers qui sont probablement stockés dans différents formats et à différents emplacements sur le disque (et éventuellement sur différentes machines). Même quelques heures par semaine perdues en raison d’une solution de gestion des données inefficace peuvent entraîner une hausse du budget et des retards sur l’ensemble du cycle de conception du produit, augmentant ainsi considérablement les délais de commercialisation.

Les approches traditionnelles de gestion des données, telles que les conventions d’attribution manuelle de noms de fichiers et de dossiers ou les implémentations de bases de données standard, offrent des avantages uniques, mais ne constituent pas à elles seules une solution complète de gestion des données. L’organisation et le nommage manuels de vos fichiers et dossiers en fonction de l’application concernée présentent l’avantage immédiat d’être gratuits et facilement personnalisables. Toutefois, cette organisation peut devenir encombrante au fur et à mesure que les tests évoluent. Ceci est particulièrement problématique lors de la recherche d’ensembles de données et lorsqu’un fichier est renommé ou déplacé par inadvertance. Les bases de données standard telles qu’Access ou Oracle sont faciles à interroger et permettent une récupération rapide des données. Toutefois, leur conception et leur implémentation sont extrêmement coûteuses et nécessitent une maintenance et des ressources importantes si vous avez besoin d’une personnalisation et d’une extensibilité continues.

Les entreprises consacrent beaucoup de temps et d’argent à la conception et à la mise en œuvre de leurs systèmes d’acquisition de données, mais omettent souvent de planifier minutieusement la gestion des données. Si vous investissez massivement dans l’acquisition de données, assurez-vous de consacrer également le temps et l’argent nécessaires à leur gestion.

National Instruments a identifié trois éléments clés du casse-tête de la gestion des données :

• Un stockage flexible et organisé des fichiers
• Un index complet des données pour des capacités de recherche avancées
• Un environnement interactif d’extraction et de post-traitement des données

Par conséquent, la solution de gestion des données techniques (TDM) de NI comprend trois éléments :

• Le modèle de données TDM pour le stockage d’informations descriptives avec vos fichiers de test
• NI DataFinder pour l’indexation des données de test pour la recherche quel que soit le format de fichier
• Logiciel DIAdem pour la recherche, l’exploration, l’analyse et la création de rapports

Le modèle de données TDM pour le stockage de fichiers organise logiquement les données de manière hiérarchique et stocke des métadonnées contenant des propriétés natives et personnalisées pour l’ensemble de données, le groupe de voies et le niveau de voie. Le format de fichier TDM est entièrement extensible et personnalisable, ce qui permet de disposer de données de test détaillées et bien documentées.

Figure 1. Le modèle de données TDM pour l’enregistrement de données de test bien documentées

Une fois que vous avez documenté vos données de test avec des propriétés, NI DataFinder – le composant le plus négligé des solutions de gestion de données – fournit un utilitaire prêt à l’emploi pour l’exploration de données de test. NI DataFinder recherche automatiquement les emplacements spécifiés sur votre disque dur et crée un index contenant les informations utiles contenues dans les métadonnées de vos fichiers de données. Une fois indexées, les données de test peuvent être facilement consultées comme sur Internet et faire l’objet de requêtes avancées à l’aide de DIAdem. Vous n’avez plus besoin de rechercher manuellement les ensembles de données souhaités ; NI DataFinder conserve les informations pertinentes sur les fichiers de données de test, quelle que soit leur disposition sur le disque.

Une fois que NI DataFinder a localisé les ensembles de données appropriés, vous pouvez utiliser DIAdem pour extraire les informations dont vous avez besoin de vos données de test et tirer parti des utilitaires DIAdem pour interagir avec ces données, les analyser et créer des rapports professionnels. Plus vite vous analysez et rapportez efficacement les données de test, plus vite votre équipe peut prendre des décisions techniques éclairées.

Index NI DataFinder local, DIAdem DataFinder s’installe automatiquement avec DIAdem. Une fois installé, DIAdem DataFinder doit pouvoir localiser vos données de test sur le disque. Vous pouvez configurer DIAdem DataFinder pour indexer tout votre disque dur, mais aussi identifier (ou exclure) des emplacements spécifiques du disque sur lesquels les données de test devraient se trouver. Cela évite la surcharge des ressources système résultant de l’indexation inutile de fichiers ou de dossiers tout en facilitant l’extensibilité au cas où vous devriez spécifier de nouvelles zones de recherche à l’avenir.

Une fois les zones de recherche configurées, DIAdem DataFinder construit et maintient automatiquement un index de tous les fichiers qui correspondent aux critères de type de fichier et d’emplacement spécifiés lors de la configuration de DIAdem DataFinder. Une fois indexées, les propriétés stockées peuvent être consultées immédiatement à partir de l’environnement DIAdem. Lorsqu’un fichier de données valide est généré, supprimé ou modifié, DIAdem DataFinder le remarque automatiquement et refait un index de la hiérarchie et des propriétés de ce fichier. DIAdem DataFinder gère ses propres tables de données de manière dynamique et les met à jour en fonction des événements et du contenu de chaque fichier. De ce fait, et contrairement à d’autres solutions proposées par de nombreuses bases de données coûteuses, vous pouvez ajouter ou modifier des informations selon l’évolution de vos besoins, sans avoir à repenser votre solution de gestion des données.

Figure 2. Grâce à la recherche avancée, vous pouvez facilement identifier les tendances et les corrélations dans vos données de test.

DIAdem DataFinder peut intrinsèquement indexer les fichiers TDM et TDM Streaming avec des zones de recherche spécifiques, mais les données héritées et/ou tierces peuvent exister dans un autre format de fichier. La solution de gestion de données NI a été conçue pour être modulaire et tenir compte de cette réalité. Pour relever le défi de l’intégration de plusieurs formats de fichiers différents, vous pouvez créer et installer des DataPlugins qui « traduisent » des formats de fichiers de données arbitraires dans la structure TDM pour une intégration facile dans DIAdem.

Figure 3. L’index stocke toutes les informations descriptives incluses dans un fichier, ce qui vous permet d’extraire et de rechercher ces valeurs.

DIAdem DataFinder est sans doute la pierre angulaire de la solution de gestion des données de NI. Il a été conçu pour un usage individuel et ne répond pas parfois aux besoins de groupes plus importants qui accèdent aux données sur plusieurs machines. C’est pourquoi NI propose deux solutions de gestion des données : DIAdem DataFinder et SystemLink TDM DataFinder Module. Avec DIAdem DataFinder, vous pouvez facilement rechercher les données de test stockées dans votre index local, même si les besoins et les exigences changent au fur et à mesure que vous étendez une solution de gestion des données à de grands groupes ou départements. Pour répondre à ces besoins, National Instruments a développé SystemLink TDM DataFinder Module, spécialement conçu pour les grands groupes et départements.

SystemLink TDM DataFinder Module développe le concept et la technologie de DIAdem DataFinder. Il inclut plusieurs fonctionnalités et capacités qui en font l’outil de gestion de données idéal pour les grands groupes dans lesquels des ingénieurs ont besoin d’accéder à de grandes quantités de données éventuellement stockées dans plusieurs emplacements.

Diminution du trafic réseau

Si les ingénieurs de test voulaient rechercher des données sur plusieurs stations de test sans utiliser SystemLink, chaque ordinateur client nécessiterait l’établissement d’une connexion réseau individuelle avec cette station de test. Le DIAdem DataFinder de chaque ordinateur client devrait indexer les fichiers de chacune des stations de test avec lesquelles il communique, en parcourant constamment le réseau pour tenir à jour les informations sur les fichiers de données de toutes les stations de test. Cela augmente considérablement la pression exercée sur les ressources réseau car l’indexation réelle s’effectue sur le réseau. Au fil du temps, cette augmentation de la bande passante utilisée risque de devenir impossible, surtout lorsque la bande passante du réseau doit être conservée.

Figure 4. Si vous n’utilisez que le DIAdem DataFinder local, l’index de chaque ordinateur client doit se connecter individuellement à chaque station de test.

Le SystemLink TDM DataFinder Module atténue ce problème et permet une indexation potentiellement plus rapide car il s’installe et fonctionne sur une machine serveur courante. Cette machine serveur contient l’index unique de SystemLink DataFinder, qui parcourt les zones de recherche spécifiques de toutes les stations de test configurées. La machine serveur fonctionne alors comme un emplacement unique dans lequel se trouve l’index commun. Les ordinateurs clients n’ont plus besoin de s’interfacer individuellement avec chaque station de test car ils peuvent communiquer avec la machine serveur intermédiaire. Lorsque vous stockez des fichiers de données et activez SystemLink TDM DataFinder Module sur une machine serveur intermédiaire, vous préservez les ressources réseau car les seules informations circulant sur le réseau sont les requêtes client réelles de l’index. 

Figure 5. SystemLink centralise les métadonnées de plusieurs stations de test afin que vous puissiez facilement y accéder et les exploiter avec plusieurs clients simultanément grâce au SystemLink TDM DataFinder Module.

Plusieurs connexions simultanées

Pour la gestion des données à grande échelle, des ingénieurs peuvent avoir besoin de récupérer simultanément des informations sur les fichiers de données existants. Le SystemLink TDM DataFinder Module étant destiné à être installé sur une machine à large bande passante exécutant un système d’exploitation serveur Windows, il peut prendre en charge jusqu’à 25 connexions client simultanées à l’index central. Cela représente une augmentation considérable par rapport au DIAdem DataFinder et constitue une caractéristique importante lorsque plusieurs utilisateurs doivent accéder à des données centralisées en même temps. Cela permet aux ingénieurs d’accéder simultanément aux fichiers de données (sans se soucier de la mobilisation et de la réservation des ressources par d’autres ingénieurs) et de récupérer plus rapidement les données.

Configuration client minimale

Pour favoriser la cohérence et faire en sorte que l’extensibilité ne nécessite aucune connaissance technique approfondie pour la configuration de l’ordinateur client, le SystemLink TDM DataFinder Module vous permet d’exporter des configurations client depuis le serveur. En quelques clics, vous pouvez générer tous les paramètres nécessaires à la configuration des ordinateurs clients pour qu’ils s’interfacent facilement avec l’index créé par le SystemLink TDM DataFinder Module dans un seul fichier *.urf. Une fois ce fichier *.urf distribué aux ordinateurs clients, la configuration est aussi simple que de double-cliquer sur le fichier depuis son emplacement sur le disque. Celle-ci prend automatiquement en charge toute la configuration des ordinateurs clients et vous permet d’accéder à l’index de SystemLink DataFinder. De plus, SystemLink TDM DataFinder Module vous permet d’exporter des DataPlugins en même temps que la configuration client. Les résultats des requêtes d’un ordinateur client sont donc identiques à ceux d’un autre ordinateur client, et ce, sans avoir à exporter individuellement (et à gérer ultérieurement l’importation) de chaque DataPlugin enregistré sur le serveur.

Figure 6. SystemLink TDM DataFinder Module vous permet d’exporter des configurations, qui peuvent inclure des DataPlugins, pour faciliter la configuration d’un ordinateur client.

Cohérence

Lorsque plusieurs ordinateurs clients tentent d’accéder à des données stockées dans plusieurs stations de test sur un réseau, SystemLink TDM DataFinder Module garantit la cohérence des zones et des résultats de recherche, ainsi que des DataPlugins. Sans le SystemLink TDM DataFinder Module, vous devez configurer chaque DIAdem DataFinder client pour indexer les zones de recherche qui comprennent plusieurs répertoires sur chacune des stations de test du réseau. Lorsque les systèmes de test deviennent plus complexes et que vous supprimez ou ajoutez plusieurs ordinateurs clients ou stations de test, vous devez reconfigurer chaque ordinateur client pour tenir compte des zones de recherche de l’ensemble du système à un moment donné. Si vous n’effectuez pas une maintenance régulière, les zones de recherche configurées sur les ordinateurs clients risquent d’être imprécises ou incomplètes. Étant donné que le SystemLink TDM DataFinder Module se trouve sur une machine serveur intermédiaire avec chaque ordinateur client configuré pour communiquer directement avec ce dernier, vous devez uniquement effectuer la maintenance sur le SystemLink Server commun au lieu de chaque client.

L’implémentation du SystemLink TDM DataFinder Module permet d’obtenir une configuration DataFinder commune (et donc un index de métadonnées et des zones de recherche communs), ce qui garantit la cohérence des résultats de recherche. Dans le cas contraire, des incohérences entre les zones de recherche et les DataPlugins définis sur les ordinateurs clients peuvent entraîner des résultats de recherche incohérents entre les différents ordinateurs. Si des ingénieurs de test exploitent des résultats de recherche divergents ou incomplets, cela peut provoquer des problèmes de communication et entraîner des retards coûteux en matière de développement de produits.

Gestion des utilisateurs et sécurité

Il est fréquent que des dizaines, voire des centaines d’ingénieurs de test interagissent avec les systèmes de test et les fichiers de données qu’ils génèrent. Cela dit, tous les ingénieurs impliqués dans un projet ne devraient pas toujours avoir accès à tous les fichiers de données générés par les stations de test. Pour des raisons de confidentialité, de sécurité ou de propriété intellectuelle, il se peut que vous deviez restreindre l’accès de certains utilisateurs aux fichiers et dossiers de données sensibles.

Figure 7. En tirant parti des paramètres d’autorisation Windows déjà configurés, le SystemLink TDM DataFinder Module ne nécessite aucune intervention supplémentaire pour restreindre l’accès aux fichiers de données sensibles.

Le SystemLink TDM DataFinder Module s’articule directement avec les politiques de gestion des utilisateurs déjà en place dans le système d’exploitation Windows. Lorsque vous activez la protection via une simple case à cocher de configuration, SystemLink commence à restreindre l’accès aux fichiers et aux dossiers en fonction des paramètres d’autorisation actuels. Sans nécessiter de vérification supplémentaire (les utilisateurs ne sont authentifiés qu’une seule fois par le système d’exploitation lorsqu’ils se connectent à l’ordinateur client), l’accès en lecture, en écriture et même en requête aux fichiers et dossiers de données exposés par l’index reproduit la configuration de gestion des utilisateurs du système d’exploitation. Grâce à SystemLink, sécuriser des données sensibles selon les politiques déjà en place est aussi simple que de cocher une case pour activer la protection.

Archivage

La technologie ne cessant d’évoluer et de s’améliorer, des facteurs tels que les processeurs multicœurs, une meilleure mémoire et des fréquences d’échantillonnage plus rapides, ainsi que la complexité croissante des systèmes de test, entraînent la collecte de quantités de données de plus en plus importantes. Bien que le stockage sur disque soit relativement rentable, lorsque vous stockez (et donc sauvegardez) de grandes quantités de données, vous avez besoin de systèmes d’archivage qui transfèrent les données sur des supports de stockage peu coûteux et de grande capacité, tels que des bandes magnétiques.

En fonction des règles configurées, les processus système en arrière-plan transfèrent automatiquement les fichiers vers les archives. Lorsque vous transférez un fichier, il est remplacé sur le disque par un fichier « stub » vide portant le même nom et possédant des attributs indiquant si le fichier d’origine est stocké dans l’archive. Lorsque vous accédez aux fichiers ultérieurement, ils sont automatiquement restaurés à partir de l’archive à leur emplacement d’origine sur le disque.

En étroite collaboration avec la société SER, National Instruments a conçu le SystemLink TDM DataFinder Module pour qu’il s’intègre parfaitement au système d’archivage SER. SystemLink étant capable de reconnaître les fichiers archivés et de sauvegarder l’indicateur d’archivage avec les données descriptives des fichiers TDM et TDM Streaming dans l’index, vous pouvez rechercher et extraire les données archivées avec les données sur disque.

SystemLink TDM DataFinder Module étend les capacités de DIAdem DataFinder pour offrir une solution plus robuste pour la gestion de données à grande échelle. Lorsque plusieurs ordinateurs clients et stations de test sont concernés, comme c’est souvent le cas dans les systèmes de test de plus en plus complexes d’aujourd’hui, SystemLink permet de réduire les contraintes sur les ressources réseau, d’obtenir des résultats de recherche cohérents entre les ordinateurs clients, de faciliter l’installation et la configuration client, ainsi que d’intégrer automatiquement les systèmes d’archivage et les paramètres d’autorisation utilisateur Windows. En complément de DIAdem DataFinder, le SystemLink TDM DataFinder Module vous permet de simplifier davantage les solutions de gestion des données de test et de simulation à grande échelle grâce à la solution NI TDM.

• Contactez le service commercial pour en savoir plus sur le SystemLink TDM DataFinder Module pour votre application.
• Téléchargez une version d’évaluation du SystemLink TDM DataFinder Module et des compléments logiciels.
• En savoir plus sur le SystemLink TDM DataFinder Module et les compléments logiciels
• En savoir plus sur DIAdem
• Découvrez comment gagner en efficacité et réduire les risques grâce à une base de données solide
• Découvrez comment TDM fonctionne avec ASAM ODS