박상원號 금융보안원, AI 환각·편향·보안위협까지 본다…금융 특화 평가체계 구축 [디지털 안전망 점검]

[한국금융신문 지다혜 기자] 금융권 인공지능(AI) 활용이 핵심 업무까지 확산하면서 환각·편향·보안위협 등 새로운 위험을 어떻게 통제할지가 과제로 떠올랐다. 금융보안원은 AI 모델의 성능뿐 아니라 데이터 품질과 적대적 공격, 외부 모델·공급망 위험까지 종합적으로 검증하는 금융 특화 평가체계를 마련했다.

박상원 원장이 이끄는 금융보안원은 12일 국내 최초의 '금융 AI 안전성·신뢰성 평가 프레임워크'를 개발했다고 밝혔다. 금융권의 AI 전환(AX) 가속에 맞춰 개발·운영 전반의 위험을 체계적으로 점검하기 위한 것으로, 하반기 금융회사를 대상으로 시범검증을 거쳐 2027년부터 본격적인 평가에 나설 예정이다.

환각·편향·공격까지…10개 축 평가

이번 프레임워크는 AI 모델의 성능뿐 아니라 신뢰성과 안전성을 개발·운영 과정 전반에서 평가하도록 구성됐다. 금융회사가 AI를 개발하고 운영하는 과정에서 성능과 데이터 품질을 관리하는지, 잘못된 판단이나 편향을 통제하는지, 외부 공격과 정보 유출에 대응할 체계를 갖췄는지를 함께 살핀다.
평가 영역은 신뢰성 4개와 안전성 6개 등 총 10개다. 신뢰성 부문에서는 모델 성능 관리, 데이터 품질 관리, 공정성·편향성, 설명 가능성을 본다. AI 모델이 성능지표와 허용기준을 갖추고 환각 등 오류와 성능 저하를 관리하는지, 활용 데이터의 정확성과 완전성·정합성을 확보하는지가 평가 대상이다. 데이터 수집부터 모델 운영까지 편향을 식별·관리하는지, AI 활용 사실과 의사결정 과정에 대한 설명 및 이의제기·구제 절차가 마련됐는지도 확인한다.

안전성 부문에서는 AI 특화 보안위협과 공격 탐지·대응, AI 자산 보호·관리, 외부 모델·데이터 검증, 기존 보안관리의 AI 환경 확장 적용, 보안 검증·운영관리를 평가한다. 내부정보 유출이나 오픈소스 위험뿐 아니라 외부에서 들여오는 모델과 데이터의 신뢰성과 안전성을 검증하고 공급망에서 발생할 수 있는 위험을 관리하는지도 평가 범위에 포함했다.

금융보안원은 금융위원회의 금융분야 인공지능 가이드라인과 금융감독원의 금융분야 AI RMF, AI 기본법 등 국내 제도와 ISO/IEC, OWASP 등 해외 평가체계를 분석해 기준을 마련했다. 특히 금융위 가이드라인의 신뢰성·보안성 원칙을 실제 기술적으로 검증할 수 있도록 구성했다.

고도화 공격엔 취약…레드티밍서 확인

금융보안원이 지난해 금융권 AI 서비스를 대상으로 실시한 레드티밍에서도 AI 보안 관리의 과제가 확인됐다. 단순한 명령이나 문자 변형을 이용한 기본 공격은 대부분 방어했지만, 여러 차례 대화를 이어가며 AI의 안전장치를 우회하는 고도화된 공격에는 취약한 사례가 나타났다.
실제 점검에서는 많은 예시를 반복적으로 제시해 AI의 안전장치를 무력화하는 공격(Many-shot Jailbreaking), 여러 겹의 가상 상황을 설정해 판단을 흐리는 공격(DeepInception), 무해한 질문에서 시작해 점차 유해한 답변을 끌어내는 다단계 공격(Crescendo Multi-Turn Attack) 등에 방어체계가 뚫리는 사례가 확인됐다. 금융보안원은 주요 취약점을 ▲AI 내부정보 노출 ▲안전장치 우회(Jailbreak) ▲학습·참조 데이터 추출 ▲서비스 범위 이탈 등 네 가지로 분류했다.

특히 AI의 내부 지시문인 시스템 프롬프트나 모델 정보가 노출되면 공격자가 작동 원리와 제약사항을 파악해 추가 공격에 활용할 수 있다. 검색증강생성(RAG·Retrieval-Augmented Generation)에 활용되는 참조 데이터가 빠져나갈 경우에는 상품 정보뿐 아니라 상담 스크립트와 업무 프로세스 등 금융회사가 축적한 정보까지 노출될 위험이 있다.

기관별 대응 수준도 달랐다. 일부 참여기관은 공격 시도를 실시간 탐지·차단하고 자체 방어체계(Guardrail)를 운영했지만, 상당수 기관은 AI 보안을 담당할 조직이나 개발·보안·준법 부서 간 역할을 정립하는 단계에 있었다. 데이터 출처 검증이나 모델 버전 관리도 미흡한 사례가 나타났다. 금융보안원은 기술적 방어뿐 아니라 조직 차원의 거버넌스와 컴플라이언스 체계를 함께 갖춰야 한다고 진단했다.

보안 원칙 넘어 기술 검증으로

금융보안원은 AI 활용에 필요한 보안 원칙과 실무 방안을 제시하는 데 이어 평가·검증 체계도 구체화하고 있다. 이번 프레임워크는 금융위의 금융분야 인공지능 가이드라인에 담긴 신뢰성·보안성 원칙을 기술적으로 검증할 수 있도록 구성됐다.

지난 6월 발간한 '금융분야 인공지능 보안 안내서'는 AI 시스템의 기획부터 개발·검증·운영·폐기까지 전 생명주기에 걸쳐 적용할 보안 방안을 담고 있다. 특히 AI 시스템을 운영 환경으로 옮기기 전 보안성을 검증하고 운영 이후에도 정기적으로 재검증하도록 안내했다. 영향도에 따라 검증 수준을 달리하는 방식도 제시해 고영향 AI는 반기, 중영향 AI는 연간, 저영향 AI는 2년 단위로 재검증하는 방안을 예시로 들었다. 고영향 AI는 금융보안원 등 제3자 기관을 통한 독립 검증도 권고했다.

적대적 공격에 대한 방어 성능도 수치와 테스트를 통해 확인하도록 했다. 안내서는 AI 서비스의 위험도와 영향도를 고려해 적대적 공격 데이터를 생성·수집하고 업무별 목표 공격 성공률(ASR) 등 기준 지표를 정하도록 제시했다. 내부 기준을 충족하지 못하면 방어 기법을 다시 검토하고 최신 공격 기법을 반영해 주기적으로 재평가하는 방식이다.

운영 단계의 정기 점검 예시로는 접근 로그와 이상 트래픽 모니터링, 월간 취약점 스캔 및 권한 검토, 분기별 종합 보안 진단과 적대적 공격 테스트, 연간 전체 보안체계 재평가·제3자 검증 등을 제시했다. 이번 프레임워크는 금융위 가이드라인에 담긴 신뢰성·보안성 원칙을 실제 기술 평가를 통해 객관적으로 검증하는 데 초점을 맞췄다.

하반기 시범검증…2027년 본평가

금융보안원은 이번 프레임워크를 실제 금융 현장에 적용해 평가체계의 실효성을 다듬을 계획이다. 오는 14일 금융회사를 대상으로 온라인 설명회를 열고 9월 중 수요조사를 진행한 뒤 하반기 중 시범검증에 나선다. 세부 평가 체크리스트는 아직 공개되지 않은 상태다.

금융보안원 관계자는 "하반기 시범검증은 수요조사를 거쳐 일정을 확정해 진행할 예정"이라며 "내년부터 본평가를 개시할 계획"이라고 설명했다.

시범검증을 통해 프레임워크의 실효성을 검증·보완한 뒤 2027년부터 금융보안원 대의원사를 대상으로 평가 업무를 우선 실시한다. 이후 업무가 안정화되면 전체 금융회사로 평가 대상을 확대하는 방안을 검토할 예정이다. 이번 프레임워크가 AI 기본법에 따른 AI 안전성·신뢰성 검증·인증 체계로 활용될 수 있도록 하는 방안도 추진한다.

평가체계 구축과 함께 AI 보안 지원 기반도 넓히고 있다. 금융보안원은 연초 AI 전담 조직을 2025년 2개팀 9명에서 올해 4개팀 20명으로 확대한다는 계획을 제시했다. 지난 5월에는 금융AI보안지원센터 업무를 개시해 AI 보안 대응에 어려움을 겪는 중소 금융사를 대상으로 기술 상담과 자문을 제공하고, 필요할 경우 AI를 활용한 모의해킹도 지원하기로 했다.

박상원 금융보안원장은 "이번 프레임워크는 금융산업의 특수성을 반영한 국내 최초의 AI 안전성·신뢰성 평가 체계라는 점에서 의미가 크다"며 "AI 서비스의 잠재적 위험을 실질적으로 평가할 수 있도록 기술 평가 항목을 강화했으며 향후 금융권의 표준 프레임워크로 발전시켜 안전하고 신뢰할 수 있는 금융권의 AI 활용을 지원할 계획"이라고 말했다.

지다혜 한국금융신문 기자 dahyeji@fntimes.com