[김의석의 단상] 금융 AX의 성패, 누가 책임질 것인가

[한국금융신문 김의석 기자] 지난 4월 17일자 단상 칼럼 ‘속도와 신뢰 사이, 금융 AX 딜레마 해법 찾기’를 통해 금융권에 한 가지 화두를 던졌다. “누가 책임질 것인가.” 기술 경쟁의 이면에 가려졌던 가장 본질적인 물음이었다.

최근 금융위원회가 ‘금융 분야 AI 가이드라인’을 전면 개정하면서 이 질문에 대한 답도 한층 분명해졌다. 거버넌스, 보조수단성, 신뢰성 등 7대 원칙의 핵심은 명확하다. AI는 아무리 고도화돼도 책임의 주체가 될 수 없다. 최종 판단과 결과는 금융회사와 임직원이 감당해야 한다. 기술은 진화해도 책임의 원칙은 변하지 않는다.

결국 금융 AX(AI 전환)의 성패도 여기에 달렸다. AX는 도입 속도가 아니라 책임과 통제 구조를 어떻게 설계하느냐의 문제다. AI를 들여온다고 경쟁력이 생기지는 않는다. 의사결정 권한과 책임 귀속, 사후 통제 체계를 재편하지 못하면 AX는 결국 ‘기술 도입’에 머문다.
이미 AI는 대출 심사와 자산 배분, 이상거래 탐지(FDS) 등 고객 재산권과 직결되는 영역 깊숙이 들어와 있다. 적용 범위가 넓어질수록 오판의 비용과 책임 부담도 커진다. 금융당국이 ‘보조수단성’을 별도 원칙으로 명시한 이유다.

앞으로는 더 복잡해진다. AI 에이전트가 거래 주체로 등장하면 책임의 경계는 더욱 흐려진다. AI가 스스로 정보를 탐색하고 다른 AI와 상호작용하는 환경에서는 판단 과정을 사람이 실시간으로 추적하기 어렵다. 결국 오류가 발생했을 때 책임의 출발점을 어디에서 특정할 것인가가 핵심 과제가 된다.

이 같은 문제의식은 금융권 내부에서도 본격화되고 있다. 7월 첫째 주말 열리는 신한금융그룹 경영전략회의에서 AI 관련 책 ‘경제없음’을 주제로 임원진 독서토론이 예정된 것도 같은 맥락이다. AI는 단순히 일자리를 대체하는 수준을 넘어 조직의 성장 경로 자체를 재편할 수 있다. 위계와 통제 중심의 기존 조직으로는 AI 에이전트 시대를 감당하기 어렵다는 위기의식이 깔려 있다.

동시에 금융권의 구조적 한계도 분명하다. 상당수 금융회사가 외부 빅테크나 글로벌 기업의 거대언어모델(LLM)에 의존하고 있지만 사고가 발생해도 책임은 외부로 이전되지 않는다. 기술은 빌려올 수 있어도 책임은 넘길 수 없다. 고객과 계약을 맺고 서비스를 제공하는 주체는 금융회사이며, 설명 책임 역시 금융회사가 져야 한다. 알고리즘 편향과 데이터 리스크, 결과 설명 가능성 모두 예외가 아니다.

바로 여기서 '킬 스위치(Kill Switch)'의 의미도 달라진다. 단순한 중단 기능이 아니라 통제 설계의 문제다. 어떤 위험 신호에서 개입할지, 누가 중단 권한을 행사할지, 어떤 절차로 복구할지를 미리 정해둬야 한다. 평상시에는 자율성을 보장한다. 이상징후가 감지되면 즉시 개입한다. 자율성과 통제는 대립 개념이 아니라 함께 설계돼야 할 시스템이다. 로그와 책임 주체가 남지 않는 자율성은 곧 통제 불능이다.

그럼에도 현장의 변화 속도는 더디다. 금융권은 대규모 투자를 이어가고 있지만 체감 성과는 제한적이다. 'AX 수준이 10~20%에 머물러 있다'는 평가가 반복되는 이유도 여기에 있다. 문제는 기술이 아니라 조직이다. 경직된 의사결정 구조와 책임 회피 문화가 AI의 속도를 따라가지 못하고 있다.

금융은 신뢰 산업이다. 의사결정의 이유를 설명할 수 있어야 신뢰도 유지된다. 제조업의 오류가 불량으로 끝날 수 있다면 금융의 오류는 고객 재산권 침해와 시스템 리스크로 이어진다. 한 번의 오판이 조직 전체의 신뢰를 무너뜨릴 수 있다.

책임은 설명 가능성에서 출발한다. 설명할 수 없는 AI는 금융에서 허용되기 어렵다. 2019년 애플카드 성차별 논란은 이를 상징적으로 보여준다. 동일한 조건의 부부에게 서로 다른 신용한도가 부여됐다는 논란이 일었다. 금융당국은 성별 변수 사용 여부보다 결과를 설명하지 못하는 구조 자체를 문제 삼았다. 설명책임(Accountability)이 없는 AI의 위험성을 드러낸 사례다.

망분리 완화와 SaaS(서비스형 소프트웨어) 활용 확대 역시 같은 흐름 위에 있다. 규제는 완화됐지만 책임은 더 무거워졌다. 자율성을 확대하는 대신 결과 책임은 더욱 엄격히 묻겠다는 것이 당국의 메시지다. 혁신의 문은 열되 통제 장치는 더 촘촘히 설계하라는 요구다.

고위험 의사결정일수록 ‘휴먼 인 더 루프(Human in the Loop)’는 선택이 아니라 전제 조건이다. 판단 과정의 기록과 검증 체계, 현업 개입 구조가 함께 작동해야 한다. 이는 단순한 규제 대응이 아니라 책임을 시스템으로 구현하는 운영 방식의 문제다.

AI가 발전할수록 경쟁력의 중심은 기술에서 조직으로 이동한다. 모델 성능은 결국 평준화된다. 그러나 책임을 기록하고 설명하며 통제하는 능력은 조직마다 다르다. 같은 AI를 도입해도 성과가 갈리는 이유다. 민첩한 조직은 기술을 실행으로 연결하지만, 경직된 조직은 병목과 책임 회피를 반복한다. AI는 그 격차를 더욱 빠르고 선명하게 드러낸다.

제도적 틀은 이미 마련됐다. 이제 남은 것은 실행이다. 보고서와 선언만으로 AX는 완성되지 않는다. 실제로 작동하는 책임 구조를 조직 안에 뿌리내릴 수 있느냐가 승패를 가른다. 제도는 방향을 제시할 뿐 경쟁력을 대신 만들어주지 않는다.

AI는 금융의 경쟁력이 될 수 있다. 그러나 기술은 빌릴 수 있어도 책임은 빌릴 수 없다. AX 시대의 승자는 AI를 먼저 도입한 조직이 아니라 책임을 먼저 설계한 조직이다. 결국 금융의 미래를 결정하는 것은 기술이 아니라 책임 설계다.

김의석 한국금융신문 기자 eskim@fntimes.com