대규모 데이터 관리를 위한 포괄적인 솔루션

오늘날 테스트 엔지니어는 데이터 수집 시스템을 설계할 때 점점 더 큰 시간과 예산 제약에 직면합니다. 보다 저렴한 가격의 고품질 제품에 대한 소비자의 요구로 인해 시스템 설계 요구사항은 더욱 엄격해지고 있습니다. 감소하는 마진을 상쇄하려면 데이터 수집 시스템을 솔루션으로 설계(또는 발전)해야 합니다. 즉, 초기 데이터 수집뿐만 아니라 데이터를 수집한 후 데이터 관리에도 사용할 수 있어야 합니다. 효과적인 데이터 관리 솔루션을 구현하지 않으면, 정보에 입각한 엔지니어링 결정을 내리기 위해 수집한 데이터에서 정보를 추출하는 데 귀중한 시간과 비용을 낭비하게 될 수 있습니다. 데이터 세트를 찾고 분석하기 위해 디스크 여러 장소, 그리고 잠재적으로는 다른 컴퓨터의 다양한 위치에 다른 포맷으로 저장된 파일을 수동으로 찾아 보아야 할 수 있습니다. 비효율적인 데이터 관리 솔루션으로 인해 일주일에 단 몇 시간만 낭비하더라도 예산 증가와 지연이 발생하여 전체 제품 설계 주기에 영향을 미치고 출시 날짜가 크게 뒤로 밀릴 수 있습니다.

손으로 파일과 폴더를 명명하는 관습 또는 표준 데이터베이스 구현과 같은 기존의 데이터 관리 접근 방식에도 고유한 이점은 있지만, 그 자체로는 모든 것을 포괄하는 데이터 관리 솔루션을 제공하지 못합니다. 사용 중인 어플리케이션에 맞는 방식으로 파일과 폴더를 수동으로 구성하고 이름을 지정하는 것은 무료이며 쉽게 사용자 정의할 수 있다는 즉각적인 이점이 있지만, 테스트가 변경되고 확장됨에 따라 정리하기 복잡해져 데이터 세트를 찾는 것도 큰 어려움이 되고 파일 이름이 바뀌거나 이동이라도 하면 해결할 수 힘든 상황까지 갈 수 있습니다. Access 또는 Oracle과 같은 표준 데이터베이스는 쉽게 쿼리할 수 있고 데이터를 신속하게 검색할 수 있지만, 설계 및 구현에 막대한 비용이 소요되며 지속적인 사용자 정의 및 확장성이 필요한 경우 상당한 유지 관리와 리소스가 필요합니다.

기업은 데이터 수집 시스템을 설계하고 구현하는 데 상당한 시간과 비용을 투자하지만 데이터 관리는 철저히 계획하지 못하는 경우가 많습니다. 데이터 수집에 많은 투자를 하는 경우, 그 데이터를 관리하는 데에도 필요한 시간과 비용을 투자하십시오.

NI는 데이터 관리 퍼즐의 세 가지 핵심 요소를 확인했습니다.

• 유연하고 체계적인 파일 저장소
• 고급 검색 기능을 위한 포괄적인 데이터 인덱스
• 대화형 데이터 검색 및 후처리 환경

그 결과, NI TDM(Technical Data Management) 솔루션은 다음 세 가지 구성요소로 구성됩니다.

• 테스트 파일과 함께 설명 정보를 저장하기 위한 TDM 데이터 모델
• 파일 포맷에 구애받지 않는 검색을 위해 테스트 데이터를 인덱싱하는 NI DataFinder
• 검색, 마이닝, 분석 및 보고를 위한 DIAdem 소프트웨어

파일 저장용 TDM 데이터 모델은 데이터를 계층 구조로 논리적으로 정렬하고 데이터 세트, 채널 그룹 및 채널 레벨에 대한 기본 및 사용자 정의 프로퍼티를 모두 포함하는 메타 정보를 저장합니다. TDM 파일 포맷은 완벽하게 확장 가능하고 사용자 정의가 가능하므로 상세하고 잘 문서화된 테스트 데이터를 만들 수 있도록 합니다.

그림 1. 잘 문서화된 테스트 데이터 저장을 위한 TDM 데이터 모델

프로퍼티를 사용하여 테스트 데이터를 문서화하면, 데이터 관리 솔루션에서 가장 간과되는 구성요소인 NI DataFinder가 바로 사용 가능한 테스트 데이터 마이닝 유틸리티를 제공합니다. NI DataFinder는 자동으로 하드 디스크의 지정된 영역을 검색하고 데이터 파일의 메타데이터 내에 있는 중요한 정보가 포함된 인덱스를 생성합니다. 일단 인덱싱된 테스트 데이터는 인터넷과 같은 간편한 검색은 물론이고 DIAdem의 고급 쿼리를 사용하여 완벽하게 검색할 수 있습니다. 더 이상 원하는 데이터 세트를 수동으로 찾을 필요가 없습니다. NI DataFinder는 테스트 데이터 파일이 디스크에 어떻게 배열되어 있는지에 관계없이 관련 정보를 추적합니다.

NI DataFinder가 적절한 데이터 세트를 찾은 후에는, DIAdem을 사용하여 테스트 데이터에서 필요한 정보를 추출하고, DIAdem 유틸리티를 사용하여 해당 데이터와 상호 작용, 분석하고 및 전문적 보고서를 생성할 수 있습니다. 테스트 데이터를 효과적으로 분석하고 보고하는 속도가 빠를 수록, 팀은 정보에 입각한 엔지니어링 결정을 더 빨리 내릴 수 있습니다.

로컬 NI DataFinder 인덱스인 DIAdem DataFinder는 DIAdem 과 함께 자동으로 설치됩니다. 설치된 후에 DIAdem DataFinder는 디스크 상 테스트 데이터의 위치를 파악해야 합니다. 전체 하드 디스크를 인덱스하도록 DIAdem DataFinder를 설정할 수도 있지만, 테스트 데이터가 위치할 것으로 예상되는 디스크의 특정 위치를 식별(또는 제외)할 수도 있습니다. 선택적인 인덱스는 파일이나 폴더를 불필요하게 인덱스하여 발생하는 시스템 리소스 오버헤드를 줄이면서 향후 새로운 검색 영역을 지정해야 하는 경우 쉽게 확장할 수 있도록 합니다.

검색 영역을 설정하면, DIAdem DataFinder는 자동으로 DIAdem DataFinder 설정에서 지정한 파일 유형과 위치 조건에 맞는 모든 파일의 인덱스를 생성하고 유지합니다. 저장된 프로퍼티는 인덱스되면 DIAdem 환경 내에서 즉시 검색할 수 있습니다. DIAdem DataFinder는 유효한 데이터 파일이 생성, 삭제 또는 편집되면 이를 자동으로 인식하고 그 파일의 계층 및 프로퍼티를 다시 인덱스합니다. DIAdem DataFinder는 자체 데이터 테이블을 동적으로 관리하고 파일 이벤트와 각 파일의 내용을 기반으로 업데이트합니다. 따라서 고비용의 다른 데이터베이스 솔루션들과는 달리, 사용자가 데이터 관리 솔루션을 재설계할 필요 없이 요구 사항의 변경에 따라 정보를 변경하고 추가할 수 있습니다.

그림 2. 고급 검색을 사용하면 테스트 데이터 내의 트랜드와 상관 관계를 빠르게 찾을 수 있습니다.

DIAdem DataFinder는 기본적으로 지정된 검색 영역을 사용하여 TDM 및 TDM 스트리밍 파일을 인덱스할 수 있지만, 레거시 및/또는 타사 데이터가 다른 파일 포맷으로 존재할 수도 있습니다. NI 데이터 관리 솔루션은 기본적으로 모듈형으로 설계되었으며 이러한 현실을 고려합니다. 여러 개의 서로 다른 파일 포맷을 통합해야 하는 문제를 해결하려면, 임의의 데이터 파일 포맷을 TDM 구조로 "변환"하는 DataPlugin을 생성하고 설치하면 DIAdem에 쉽게 통합할 수 있습니다.

그림 3. 인덱스는 파일에 포함된 모든 설명 정보를 저장하기 때문에 이러한 값을 마이닝하고 검색할 수 있습니다.

DIAdem DataFinder는 의심할 여지없이 NI 데이터 관리 솔루션의 초석으로, 개인을 위해 설계되어 때때로 여러 기계에서 데이터에 접근해야 하는 대규모 그룹의 요구를 충족하지 못할 때가 있습니다. 그래서, NI는 DIAdem DataFinder와SystemLink TDM DataFinder Module의 두 가지 데이터 관리 옵션을 제공합니다. DIAdem DataFinder를 사용하면, 로컬 인덱스 내에 저장된 테스트 데이터를 편리하게 검색할 수 있습니다. 그러나, 보다 큰 규모의 그룹이나 부서로 데이터 관리 솔루션을 확장하게 되면 필요나 요구 사항이 늘어납니다. 이러한 요구를 충족하기 위해 NI는 대규모 그룹 및 부서를 위해 특별히 설계된 SystemLink TDM DataFinder Module을 개발했습니다.

SystemLink TDM DataFinder Module은 DIAdem DataFinder의 개념과 기술을 확장하며, 여러 엔지니어가 여러 위치에 저장되어 있을 수 있는 대량의 데이터에 접근해야 하는 대규모 그룹에 이상적인 데이터 관리 도구가 되도록 하는 여러 기능을 포함하고 있습니다.

네트워크 트래픽 감소

테스트 엔지니어가 SystemLink를 사용하지 않고 여러 테스트 스테이션에서 데이터를 검색하려는 경우, 각 클라이언트 시스템은 해당 테스트 스테이션과 개별 네트워크 연결을 설정해야 합니다. 각 클라이언트 컴퓨터의 DIAdem DataFinder는 통신하는 각 테스트 스테이션의 파일을 인덱스해야 하며, 모든 테스트 스테이션의 데이터 파일에 대한 최신 정보를 유지하기 위해 네트워크에 지속적으로 접근하여 인덱스해야 합니다. 이렇게 하면 실제 인덱스가 네트워크를 경유해 진행되기 때문에 네트워크 리소스에 대한 부담이 극적으로 증가합니다. 시간이 지나면서, 특히 네트워크 대역폭을 보존해야 하는 시나리오에서는 대역폭 증가 때문에 이러한 솔루션은 사용할 수 없을 수도 있습니다.

그림 4. 로컬 DIAdem DataFinder만 사용하는 경우, 각 클라이언트 컴퓨터의 인덱스는 각 테스트 스테이션에 개별적으로 연결되어야 합니다.

SystemLink TDM DataFinder Module은 공통 서버 머신에서 설치 및 작동하기 때문에 이 문제를 완화하고 잠재적으로 더 빠른 인덱스를 가능하게 합니다. 이 서버에는 설정된 모든 테스트 스테이션의 지정된 검색 영역을 크롤링하는 단일 SystemLink DataFinder 인덱스가 있습니다. 서버는 단일 위치에서 공통의 인덱스로서 동작합니다. 클라이언트 컴퓨터는 중간의 서버와 통신할 수 있기 때문에 더 이상 각 테스트 스테이션과 개별적으로 연결할 필요가 없습니다. 중간 서버에서 데이터 파일을 저장하고 SystemLink TDM DataFinder 모듈을 활성화하면, 네트워크를 통해 이동하는 정보가 인덱스에 대한 실제 클라이언트의 쿼리뿐이기 때문에 네트워크 리소스를 아낄 수 있습니다. 

그림 5. SystemLink는 여러 테스트 스테이션의 메타데이터를 중앙에 모아, SystemLink TDM DataFinder Module을 사용하여 여러 클라이언트에서 동시에 손쉽게 메타데이터에 접근하고 마이닝할 수 있도록 합니다.

다중 동시 연결

대규모 데이터 관리의 경우, 여러 엔지니어가 기존 데이터 파일에 대한 정보를 동시에 검색해야 할 수 있습니다. DIAdem SystemLink TDM DataFinder Module은 Windows 서버 운영 체제가 탑재된 고대역폭 시스템에 설치하도록 설계되었으므로, 중앙 인덱스에 대해 최대 25개의 동시 클라이언트 연결을 지원할 수 있습니다. 이는 DIAdem DataFinder에 비해 크게 향상된 것이며, 여러 사람이 한 번에 중앙의 데이터에 접근해야 하는 경우 중요한 기능입니다. 이를 통해 엔지니어는 다른 엔지니어가 리소스를 사용하거나 점유하는 것에 대해 걱정할 필요 없이 동시에 데이터 파일에 접근할 수 있으며 보다 신속하게 데이터를 가져올 수 있습니다.

최소 클라이언트 설정

일관성을 높이고 확장성을 보장하는 데 클라이언트 컴퓨터 설정에 대한 심층적인 기술 지식이 필요하지 않도록, SystemLink TDM DataFinder Module은 서버에서 클라이언트 설정을 반출할 수 있는 기능을 제공합니다. 몇 번의 마우스 클릭만으로 SystemLink TDM DataFinder Module에서 생성된 인덱스와 매끄럽게 연결되도록 클라이언트를 설정하는 데 필요한 모든 설정을 하나의 *.urf 파일로 생성할 수 있습니다. 이 *.urf가 클라이언트에 배포된 후에는, 디스크에 있는 파일을 더블 클릭하는 것만으로 쉽게 이 설정을 설치할 수 있습니다. 이 설정은 모든 클라이언트 설정을 자동으로 처리하고 SystemLink DataFinder 인덱스에 대한 접근을 시작할 수 있게 돕습니다. 또한 SystemLink TDM DataFinder Module을 사용하면 클라이언트 설정과 함께 DataPlugin도 반출할 수 있기 때문에, 서버에 등록된 각 DataPlugin을 개별적으로 반출(그리고 나중에 반입까지 관리)할 필요 없이 한 클라이언트의 쿼리 결과가 다른 클라이언트의 쿼리 결과와 동일하다는 것을 확신할 수 있습니다.

그림 6. SystemLink TDM DataFinder Module을 사용하면 DataPlugin을 포함하는 설정을 반출해 클라이언트 컴퓨터를 쉽게 설정할 수 있습니다.

일관성

여러 클라이언트 시스템이 네트워크의 여러 테스트 스테이션에 저장된 데이터에 접근을 시도하는 경우, SystemLink TDM DataFinder Module은 검색 영역, 검색 결과 및 DataPlugin의 일관성을 보장합니다. SystemLink TDM DataFinder Module이 없으면, 각 클라이언트 DIAdem DataFinder가 네트워크의 각 테스트 스테이션에서 여러 디렉토리로 구성된 검색 영역을 인덱스하도록 개별적으로 설정해야 합니다. 테스트 시스템이 점점 복잡해지고, 여러 대의 클라이언트 컴퓨터 또는 테스트 스테이션을 제거하거나 추가함에 따라, 어떤 시점에라도 전체 시스템에 존재하는 검색 영역을 정확히 고려할 수 있게 각 클라이언트 컴퓨터를 다시 설정해야 합니다. 정기적인 유지 관리를 수행하지 않으면, 클라이언트 컴퓨터들에 설정된 검색 영역이 정확하지 않거나 불완전해질 수 있습니다. SystemLink TDM DataFinder Module은 각 클라이언트가 직접 통신하도록 설정된 하나의 중간 서버 컴퓨터에 상주하기 때문에 각 클라이언트 대신 공통의 SystemLink Server에서만 유지 관리를 수행하면 됩니다.

SystemLink TDM DataFinder Module을 구현하면 하나의 공통 DataFinder 설정(따라서 공통의 메타데이터 인덱스 및 검색 영역)이 생성되므로 검색 결과 간의 일관성이 보장됩니다. 그렇지 않은 경우, 클라이언트 시스템에 정의된 DataPlugin들과 검색 영역들 사이의 불일치로 인해 서로 다른 시스템에서 검색 결과가 일치하지 않을 수 있습니다. 여러 테스트 엔지니어가 충돌하거나 불완전한 검색 결과를 사용하면 의사 소통 문제로 인해 제품 개발이 지연되어 높은 비용이 발생할 수 있습니다.

사용자 관리 및 보안

수십 또는 수백 명의 테스트 엔지니어가 테스트 시스템 및 테스트 시스템에서 생성하는 데이터 파일으로 작업하는 것은 흔한 일입니다. 하지만 프로젝트에 관련된 모든 엔지니어가 테스트 스테이션에서 생성되는 모든 데이터 파일에 항상 접근할 수 있어야 하는 것은 아닙니다. 개인 정보 보호, 보안 또는 지적 재산권을 이유로 특정 사용자가 민감한 데이터 파일 및 폴더를 접근하지 못하도록 제한해야 하는 상황이 발생합니다.

그림 7. SystemLink TDM DataFinder Module은 이미 지정된 Windows 권한 설정을 활용하여 민감한 데이터 파일에 대한 접근을 추가 작업 없이 제한할 수 있습니다.

SystemLink TDM DataFinder Module은 Windows 운영 체제의 일부로 이미 적용된 사용자 관리 정책과 직접 연결됩니다. 간단한 설정 확인란을 통해 보안을 활성화하면, SystemLink는 현재 권한 설정을 기반으로 파일과 폴더에 대한 접근을 제한하기 시작합니다. 추가 확인을 요구하지 않고(사용자는 클라이언트 컴퓨터에 로그인할 때 운영 체제에서 한 번만 인증됨) 인덱스에 의해 노출된 데이터 파일 및 폴더에 대한 읽기, 쓰기 및 쿼리 접근은 운영 체제의 사용자 관리 설정을 그대로 따릅니다. SystemLink를 사용하면, 간단한 확인란을 사용하여 보안을 활성화하면 쉽게 이미 존재하는 정책에 따라 민감한 데이터의 보안 기능을 이용할 수 있습니다.

아카이브

기술이 계속 발전하고 개선됨에 따라, 멀티코어 프로세서, 증가된 메모리, 더 빠른 샘플링 속도와 같은 요인과 더불어 테스트 시스템이 점점 더 복잡해지고 있다는 사실로 인해 수집되는 데이터의 양은 계속 증가하고 있습니다. 디스크 스토리지는 상대적으로 비용 효율적이지만, 많은 양의 데이터를 저장(따라서 백업)해야 하는 상황에서는 데이터를 자기 테이프와 같은 저렴한 대용량 스토리지 미디어로 전송하는 아카이브 시스템이 필요합니다.

설정된 규칙에 따라 백그라운드 시스템 프로세스는 자동으로 파일을 아카이브로 전송합니다. 파일을 전송하면 디스크의 원본 파일은 동일한 이름과 속성을 가지며 아카이브 저장 여부를 나타내는 빈 "스텁" 파일로 대체됩니다. 나중에 파일에 접근하면 보관소에서 디스크의 원래 위치로 자동으로 복원됩니다.

NI는 SER사와의 긴밀한 협력 아래 SER 아카이브 시스템에 원활하게 통합될 수 있도록 SystemLink TDM DataFinder Module을 설계했습니다. SystemLink 는 아카이브된 파일을 인식하고 인덱스 안에서 설명적인 TDM 및 TDM 스트리밍 파일 데이터와 함께 아카이브 플래그를 저장할 수 있기 때문에, 디스크의 데이터와 함께 아카이브된 데이터도 검색하고 마이닝할 수 있습니다.

SystemLink TDM DataFinder Module은 DIAdem DataFinder의 기능을 확장하여 대규모 데이터 관리를 위한 보다 견고한 솔루션을 제공합니다. 오늘날의 점점 더 복잡해지는 테스트 시스템에서 흔히 볼 수 있는 것처럼, 여러 클라이언트 컴퓨터와 여러 테스트 스테이션이 연결되어 있는 경우, SystemLink는 네트워크 리소스에 대한 부담 감소, 여러 클라이언트 컴퓨터에서의 일관된 검색 결과, 설치 및 클라이언트 설정의 용이함, 아카이브 시스템 및 Windows 사용자 권한 설정과의 자동 통합을 보장합니다. DIAdem DataFinder를 보완하는 SystemLink TDM DataFinder Module을 사용하면 NI TDM 솔루션으로 대규모 시뮬레이션 및 테스트 데이터 관리 솔루션을 더욱 간소화할 수 있습니다.

• 여러분의 산업에 SystemLink TDM DataFinder Module을 적용하는 데 대한 자세한 내용은 영업팀에 문의하십시오.
• SystemLink TDM DataFinder Module 및 애드온 평가판 다운로드
• SystemLink TDM DataFinder Module 및 애드온에 대해 자세히 알아보기
• DIAdem에 대해 자세히 알아보기​
• 견고한 데이터 기반 기술로 효율성을 높이고 위험을 줄이는 방법 알아보기
• TDM이 ASAM ODS와 어떻게 함께 작동하는지 알아보기