현행 DW(Data Warehouse) 의 문제점과 개선방안

금융산업 환경이 복잡해지고 시장 및 고객의 요구가 다양해지면서 정보시스템이 관리해야 하는 데이터의 양도 폭발적으로 늘어나고 있다. 금융기관들은 꾸준히 하드웨어를 증설하고 다양한 데이터 관리 툴을 도입하는데 많은 비용을 투자하고 있다. 그럼에도 불구하고 다양한 업무시스템에서 발생한 데이터를 통합하고 후선 시스템이 이를 활용하여 비즈니스를 지원하는 일상적인 업무가 적시에 수행되도록 하는 것은 여전히 쉽지 않은 과제로 남아 있다. 이와 같은 어려움을 해결하기 위해 기업들은 데이터처리과정의 중심에 있는 DW의 처리용량을 증가시키는 방향으로 노력해 왔다. 그러나 현재 DW에서 관리되고 있는 데이터가 과연 필요한 것인지, 비즈니스적으로 잘 활용되고 있는지 확인하는 노력은 충분치 않은 것 같다. 만약 DW에서 관리되는 데이터의 양을 효율적으로 줄일 수 있다면 DW의 직접적인 유지 및 관리비용과 간접적으로 발생하는 활용비용을 효과적으로 줄일 수 있을 것이다.

1. DW는 양질의 데이터를 적절한 비용으로 유지하고 있어야

DW는 사용자의 의사결정을 지원하기 위한 데이터를 통합/관리하는 시스템이다. DW가 적정한 기능을 수행하고 있는지는 경영진의 의사결정에 필요한 정보를 산출하기 위한 기초데이터를 적시에 제공하는지, 이를 위해 적절한 운영 비용이 사용되고 있는지에 대해 답을 해보면 될 것이다. 즉, DW에서 양질의 데이터가 적절한 비용으로 유지되고 있는가로 정리할 수 있을 것이다.
한국데이터베이스진흥원의 2010년 데이터 품질관리 성숙수준 조사를 살펴보면, 금융부문에서 데이터 품질관리에 공감하면서도 구체적인 활동이 미흡하다는 응답이 45%, 필요성을 공감하지 못하는 경우도 5%로 나타났다. 즉, 응답의 50%가 양질의 데이터를 확보하기 위한 노력이 미흡하다는 것을 알 수 있다.

2000년 이후 국내 금융기관들이 발주한 다양한 후선업무시스템 구축 프로젝트에 참여하였는데, 이때 DW를 분석할 기회가 많이 있었다. 이 과정에서 공통적으로 확인하게 된 것은 DW 내에 유사한 데이터가 중복되어 관리되고 있고, 동일 항목의 값이 서로 일치하지 않는 경우가 많다는 것이다. 또한 이에 대한 확인하는 과정도 없이 사전에 시스템에 정의된 스케줄에 따라 반복적으로 생산되어 DW를 채우고 있다는 것이다. 그러나, 무엇보다 DW분석을 어렵게 만들었던 점은 현황을 파악하기 위한 충분한 문서도, 현행 DW를 충분히 이해하고 있는 담당자도 찾기 어렵다는 것이다.

2. 현황파악에 필요한 문서도 인력도 부족하여 효율성 저조

왜 이러한 현상이 발생하는 것일까? 두가지로 정리할 수 있을 것이다.

첫째, 많은 DW들이 정보공급자 중심, 즉 시스템 측면의 효율성 및 가용성에 중심을 두고 구축되었기 때문이다. DW의 사용자 그룹이 방대하고, 요구사항이 불분명하여 사용자 요구사항을 반영하기 어려운 점이 존재하기는 하나, 사용자 그룹의 참여가 충분하지 않은 상태에서 IT부서만의 프로젝트로 진행되는 경우가 많이 있었다. DW를 어떻게 활용될 것인가에 대한 고민을 하기 보다는 기존의 구조를 답습하거나, 개발하기 용이하거나 기존 구조를 답습하는 방식으로 DW가 구축되었던 것이다. 결과적으로 정보사용자 관점이 결여된 DW는 비즈니스 부서의 다양한 데이터 요구에 유연하게 대처하기 어렵게 되고, 수시로 발생하는 데이터 요구에 대응하다 보면 DW를 더욱 난해하게 만드는 결과를 낳게 된다.
둘째, 데이터관리체계가 적절히 작동하지 않기 때문이다. 데이터의 생성자가 누구이고, 관리책임자는 누구이며, 누가 활용하고 있는지에 대한 명확한 정보를 파악하기 어렵게 된다. 이로 인해 시간이 지남에 따라 누가 어떻게 사용하는지도 모르는 우후죽순으로 생겨나게 되고, 결국 DW는 손댈 수 없는 거대한 괴물이 되고 만다. DW 내에 사용되지 않은 데이터는 데이터간 상호불일치를 발생시키게 되고, 이는 DW의 신뢰성 저하로 연결되어 더욱더 DW의 활용을 어렵게 만드는 악순환을 하게 된다.

현재 운영중인 DW의 데이터가 얼마나 사용되고 있는지, 중복 데이터는 얼마나 되는지 분석해보면 깜짝 놀라게 될 것이다. 아무도 사용하지 않는 데이터의 생성과 유지를 위해 막대한 비용이 쓰이고 있다는 사실을 알게 될 것이다.

3. 다양한 사용자요구에 대처할 수 있는 원천 데이터 만들어야

이러한 문제점을 해소하고 DW가 기업의 경쟁우위를 확보하는 핵심역할을 수행하기 위해서는 어떻게 해야 하는가? DW를 다양한 사용자 요구에 유연하게 대처할 수 있는 품질 높은 데이터의 원천으로 만드는 방법은 무엇일까?
첫째, 데이터 품질을 확보하기 위한 데이터 거버넌스를 수립하고 운영하는 것이 중요하다. 데이터 거버넌스란 조직이 데이터를 중요한 자산으로 인식하고 이를 관리하는 절차나 감독, 검사방법을 규정한 것이다. 단순히 데이터 생성 및 유지뿐 아니라 정보의 사용자 및 목적까지 관리하는 포괄적 개념이다.

현행 데이터관리 정책, 프로세스 및 조직 측면에서 평가하고, 보완이 필요한 부분에 대하여 명확한 기준 및 절차를 수립하고, 필요 인력을 배치하는 것이 필요하다. 데이터 관리역량을 향상하기 위해서는 일반적으로 DB설계자 및 DBA 등 IT기술자에만 집중하는 경향이 있다. 양질의 데이터 확보를 위해서는 비즈니스 측면에서 데이터의 흐름과 공유를 관리할 수 있는 데이터 관리자 역할에 더 중심을 두는 것이 필요하다.

둘째, 정보사용자 중심의 DW구축 전략이 필요하다.

DW는 다양한 사용자 그룹의 요구사항을 수용해야 하므로, 리스크, 성과분석, 마케팅 등 다양한 업무전문가의 참여가 반드시 필요하다. 그리고, 다양한 데이터를 확인하고, 활용관점에서 요구사항을 정의해야 하므로, 타 시스템을 구축할 때와 비교하여, 분석단계에 충분한 시간을 할애하여야 한다.

4. 조직의 데이터관리수준 보완해야 경영 의사결정에 도움돼

시스템을 구축하다 보면 초기 구축비용만 고려하는 경우가 많다. 그러나, DW의 경우에는 구축 비용보다는 사용 비용을 더 고려해야 한다고 생각한다. 한번 생성된 데이터는 다수의 사용자에 의해서 반복적으로 사용되게 된다. 그러므로 구축방식이 비용을 더 많이 발생되는 경우라도, 사용자 측면에서 편리하게 사용될 수 있다면 총비용을 줄일 수 있게 된다. 마찬가지 이유로 일단 개선 사항이 발견되면 고통스럽더라도 쉬운 해결방안보다는 근본적인 해결방법으로 해소하여야 한다. 조치하기 쉬운 방법으로 선택하다 보면 현재 DW가 안고 있는 문제점에서 벗어날 수가 없다.

급변하는 금융환경 및 치열한 경쟁환경 속에서 양질의 데이터가 경쟁력 강화의 중요한 요소라는 인식이 확산되고 있다. 방대한 데이터에서 필요한 정보를 신속히 정확하게 분석하여 의사결정에 반영할 수 있어야 한다. 이를 위해 조직의 데이터관리수준을 냉철하게 평가하고 과감하게 보완하는 노력이 필요한 때이다. Business Intelligence도 결국은 양질의 데이터를 공급해 줄 수 있는 잘 설계된 DW가 있을 때 가능한 것이다.



관리자 기자