박만성 ㈜옥타솔루션 대표이사, AI 기반 자금세탁방지 혁신은 선택 아닌 필수

자금세탁방지(AML)는 금융기관의 핵심 준법 감시 업무입니다. 그러나 점차 고도화되는 자금세탁 기법과 폭증하는 거래량 속에서 기존의 룰 기반 시스템은 명확한 한계를 드러내고 있습니다. 반복적인 정상 거래조차 의심거래로 분류되어 False Positive가 과도하게 발생하고 있으며, 한정적인 기준으로 고객을 분류하는 방식은 실제 리스크를 정확히 반영하지 못하고 있습니다.

이러한 문제는 내부 리소스를 낭비하게 만들고, 실질적인 고위험 거래는 탐지하지 못하는 상황을 초래할 수 있습니다. 이제는 전통적 방식을 넘어선 새로운 패러다임의 접근이 필요한 시점입니다.

이러한 흐름 속에서 인공지능(AI)은 AML 시스템의 혁신을 이끄는 중요한 기술로 부상하고 있습니다. 인공지능은 단순한 자동화 도구가 아닌, 기존의 룰 기반 탐지 방식이 가지는 구조적 한계를 보완하고, 거래의 맥락과 패턴의 변화를 스스로 학습하여 보다 정교하고 유연한 탐지를 가능하게 합니다.
예컨대, 평소 일정 금액 이하의 거래를 반복하던 고객이 특정 시점에 갑자기 고액을 해외로 이체하는 상황을 AI는 사전에 정의된 규칙 없이도 실시간으로 포착할 수 있습니다. 이는 기존 룰 기반 접근보다 훨씬 민감하고 민첩한 대응이 가능하다는 것을 의미합니다.

AI 기술은 AML의 다양한 분야에서 실질적인 혁신이 시도되고 있습니다. 대표적으로는 ① 이상거래 탐지(Anomaly Detection): 기존 룰에 얽매이지 않고 정상 거래 패턴으로부터의 '미세한 일탈'도 포착, ② 고객군 클러스터링(Segmentation) : 거래 특성에 따라 고객을 자동 분류하고, 위험도 기반 차등 관리, ③ 위험 점수화(Risk Scoring): 고정 기준이 아닌, 거래 흐름과 맥락을 반영한 위험 평가, ④ STR 자동추천(Feedback Loop): STR 분석 결과를 학습 데이터로 삼아 탐지 정확도 개선을 위한 시나리오/임계값 추천 및 검출된 혐의거래의 보고·미보고 판단 및 ⑥ 보고서 자동화 등이 있습니다.

이상거래 탐지(Anomaly Detection): 머신러닝 기반의 이상거래 탐지 모델은 단순한 시나리오/룰 기반 규칙을 넘어 다차원적인 거래 정보를 분석하여 정상 패턴에서 벗어난 미세한 이상까지 탐지할 수 있습니다. 예를 들어 거래 시간, 빈도, 위치, 기기 정보, 거래 상대방 등의 복합적 요소를 고려하여 진짜 의심거래를 선별하게 됩니다.

고객군 클러스터링(Segmentation) 고객군 클러스터링 기능은 고객을 동질적인 그룹으로 자동 분류하고, 그룹별로 위험 속성을 분석하는 방식입니다. 이는 고정된 고객 분류 체계보다 실거래 기반의 실질적인 리스크 파악에 훨씬 유효하며, 이를 통해 고위험 고객을 우선 모니터링 대상으로 설정하거나 정밀 조사 대상 고객을 자동으로 선별할 수 있습니다.

위험 점수화(Risk Scoring): 이러한 분류 결과는 이어지는 위험 점수화(Risk Scoring) 작업과 연계되며, AI는 고객의 거래 이력, STR 제출 이력, 국가 위험도, 상품 유형 등 다양한 요소를 종합적으로 분석하여 실시간으로 리스크 점수를 산출할 수 있습니다.
STR 자동추천(Feedback Loop) 및 보고서 자동화: 의심거래보고서(STR)의 자동추천 기능도 AI AML의 중요한 구성 요소입니다. 과거 제출된 STR 데이터를 학습한 AI는 유사한 거래 패턴이 감지될 경우 보고 대상 여부를 실무자에게 제안하며, 보고서 초안 작성에도 활용됩니다. 이는 실무자의 업무 부담을 줄이는 동시에, 보고 누락 가능성을 줄이고 보고서의 품질을 균일화 하는 데 기여할 수 있습니다.

이에 더하여 Watch List Filtering 영역에서도 AI는 단순 텍스트 매칭을 넘어 퍼지 매칭(Fuzzy Matching)을 활용하여 이름 철자 오류, 변형 표현, 다양한 언어적 이질성까지 감안한 제재 대상자 탐지를 수행합니다.

실제 금융기관 사례도 늘고 있습니다. JP모건체이스는 머신러닝 기반 거래 모니터링 시스템을 통해 STR의 False Positive 비율을 30% 이상 감소시키는 데 성공했습니다. HSBC는 AI 기반 Watch List Filtering을 도입해 제재 대상 탐지율을 20% 향상시켰습니다. 싱가포르 통화청(MAS)은 RegTech 기업과 금융기관이 협력할 수 있는 AI AML 샌드박스를 운영하며 기술 확산을 장려하고 있습니다.

AI 기반 AML 시스템은 단순한 자동화가 아닌 ‘지능화(Intelligent Automation)’를 실현하는 도구입니다. 이는 실무자의 탐지 역량을 보조하고, 주의 깊게 살펴봐야 할 고위험 거래를 신속하게 제시하여 리스크 대응 시간을 줄이는 효과를 가져옵니다.

결국 AML의 미래는 사람과 AI의 협업 모델에 있으며, AI는 실무자의 판단력을 보완하는 방향으로 활용되어야 합니다.

AI는 분명히 AML의 미래를 여는 열쇠이자 파수꾼이 될 수 있습니다. 그러나 그 열쇠를 정확하고 올바르게 사용하기 위해서는 현장에서 AML 업무를 수행하는 사람의 부단한 노력과 함께 도입 초기 AI의 미숙함을 보완하기 위한 절대 시간이 필요합니다.

이러한 한계를 해결하기 위해서는 기술 개발뿐 아니라, 감독당국의 명확한 가이드라인, 금융기관의 내재화 노력, 그리고 실무자의 인식 전환과 인내심을 동반한 노력이 함께 이루어져야 할 것입니다.

우리가 AI에 관심을 가지던 가지지 않던 이미 우리 일상에 수많은 AI가 상존하 듯이, 조만간 AML업무에도 AI의 적용은 선택이 아닌 필수가 될 것입니다.

[박만성 ㈜옥타솔루션 대표이사]