‘데이터를 프로파일링하라’

올해 하반기 들어 데이터 프로파일링이 새로운 시장으로 부각되고 있다. 이에 따라 관련 업체들의 시장 공략 역시 점차 가시화되고 있다.

한국어센셜소프트웨어는 데이터 분석 및 프로파일링 전문 툴인 ‘프로파일 스테이지’를, 아이티플러스는 DQ마이너를 앞세워 시장 공략에 나서고 있다.

이 같은 프로파일링에 대한 관심 고조는 차세대 프로젝트나 실시간 기업(RTE)등을 고려하는 과정에서 데이터의 가치를 높여야하는 당위성을 인식하기 시작한 데 따른 것이다.
최근 바젤Ⅱ나 사베인 옥슬리 등 각종 IT 컴플라이언스에 효과적으로 대응하기 위한 대안으로 논의되고 있기 때문이다.

이는 메타데이터, 품질관리 등 데이터 품질관리가 이슈로 등장한 것과 맥을 같이 하고 있다고 할 수 있다.

17일 관련업계에 따르면 제2금융권의 시스템 개편 움직임과 함께 데이터 품질이 중요 쟁점으로 등장하고 있다. 얼마 전 차세대 시스템을 준비하고 있는 손해보험 3개사가 전문 업체에 의뢰해 데이터 품질 측정 테스트를 진행하는 등 물밑 작업이 활발하게 진행되고 있다.

최근 프로파일링 제품을 선보인 아이티플러스 DI사업부 김봉수 과장은 “기존에는 대형 프로젝트를 하면서 묻어서 진행됐던 데이터 관리 프로젝트가 최근에는 비록 소수지만 단독 프로젝트로 인식이 변화고 있다”고 말했다. 이에 따라 한국어센셜소프트웨어는 손해보험사, 은행 등 4군데 이상 파일럿 프로젝트를 진행하면서 시장 확대를 준비하고 있다.

아이티플러스 역시 제 2금융권 1개사의 데이터 프로파일링 프로젝트를 준비하고 있으며 올해 내에 금융권에서 1개사 정도가 프로젝트를 착수할 것으로 보고 있다.
프로파일링에 관심 고조와 함께 전문 툴도 점차 고도화, 스위트화되는 모습을 보이고 있다.

한국어센셜소프트웨어는 최근 기존 단품으로 공급됐던 프로파일 스테이지는 내년 1월 출시되는 새로운 통합 플랫폼인 ‘허크(HAWK)’에 통합돼 공급된다고 밝혔다.

이는 어센셜 및 인포메티카 등 ETL(Extraction Tranforma tion Linked)을 중심으로 데이터 통합이 논의되던 모습에서 메타데이터 관리, 프로파일링, 데이터 품질 등으로 무게 중심 이동을 의미한다.

그 동안 데이터 프로파일링은 품질 관리 분야에서 주로 활용됐다.
그러나 비정형 데이터를 정형화하는 솔루션으로 우편번호 매칭 기능의 데이터 품질관리 솔루션과는 차별화된다. 프로파일링은 데이터 프로파일을 분석해 데이터가 정확한 위치에 있는지, 적당한 값이 들어있는지 속성을 분석하기 때문이다.

IT 업계 관계자는 “보험사의 고객 정보를 분석해보면 데이터의 정합성은 98% 이상 높게 나타나지만 데이터의 속성을 보면 중복 데이터가 상당수 존재하는 것을 파악할 수 있다”며 “이러한 경우 데이터 품질관리만으로는 큰 효과를 기대할 수 없는 환경”이라고 밝혔다. 이러한 문제는 고의든 실수든 정보를 입력하는 과정에서 문제가 존재하기 때문에 발생한다.

표기를 달리하거나 고의적인 누락 등으로 동일한 정보를 5~6개의 개별 데이터로 관리되는 경우가 빈번하다. 데이터 품질관리에서 프로파일링이 중요한 요소로 거론되는 이유다.

이러한 프로파일링 기존에는 사내에서 데이터 담당자가 수작업을 통해 진행됐지만 데이터가 방대해지고 시스템이 복잡해지면서 수작업은 거의 불가능해 졌다. 점차 전문 툴 도입의 필요성이 증가하고 있다.

한국어센셜소프트웨어는 기존 품질관리 툴인 ‘퀄리티 스테이지’와 함께 품질관리 기반의 통합 솔루션으로 프로파일 스테이지의 중요성을 적극 부각하고 있다. 아이티플러스 역시 올해 2개 사이트 확보와 내년 시장 활성화를 기대하고 있다.



송주영 기자 jysong@fntimes.com