금융보안원, AI 에이전트 보안 위협 보고서 공개…"보안체계 구축 필요"

[한국금융신문 우한나 기자] 금융보안원이 추론 AI 모델의 출현 및 기술의 발전으로 금융권 내 AI 에이전트 도입이 증가할 것으로 전망됨에 따라 AI 에이전트 기능을 가로채 악용하거나 사용하는 도구를 오염시키는 등의 보안 위협을 체계적으로 정리한 보고서를 공개했다.

AI 에이전트는 사용자 의도에 따라 목표를 설정한 뒤 환경을 분석하고 필요한 도구를 활용해 인간의 개입 없이 자율적으로 목표를 수행하는 AI 시스템을 의미한다.

기존 LLM 기반 AI가 정보를 제공해 사람의 판단과 결정을 지원했다면 AI 에이전트는 여러 가지 외부 도구를 통해 필요한 조치를 스스로 실행할 수 있다는 점에서 차이가 있다.

이에 안전한 에이전트를 활용하려면 AI 모델에 대한 위협뿐만 아니라 외부 도구 연동에 따른 위험도 함께 고려할 필요가 있다.

AI 에이전트 대상 주요 보안 위협은 독립적 의사결정에 수반되는 위협과 공격 표면 증가에 따른 위협으로 분류된다.

우선 AI 에이전트가 독립적으로 의사결정을 내리는 과정에서 조작되거나 거짓된 정보를 참조해 의도치 않은 행위를 수행하도록 유도하는 AI 에이전트 하이재킹 공격의 우려가 증가했다.


AI 에이전트가 사용자의 정당한 지시와 외부 데이터에 숨겨진 공격자의 악의적인 지시를 구분하지 못할 경우 사용자 지시를 처리하기 위해 외부 데이터를 참조하는 과정에서 악의적인 지시를 사용자의 요청으로 착각해 수행할 가능성이 존재한다.
또한 AI 에이전트에 연동되는 도구의 수와 종류가 증가함에 따라 공격 표면이 확장되고 공격 발생의 가능성이 높아진다.


예를 들어 에이전트가 참조하는 도구 설명에 조작된 내용을 끼워 넣어 악성 행위를 수행하도록 유도할 수 있다.

일반적으로 사용자는 에이전트가 사용하는 도구 설명 전체를 확인하기 어려워 숨겨진 악성 행위를 식별하기 어렵다.

향후 금융권에 AI 에이전트가 도입이 본격화돼 이러한 보안 위협에 노출되면 비정상적인 대출 승인, 공격자 계좌로의 자금 이체 등 직접적인 피해가 발생할 우려가 있다.

특히 현재 법체계는 AI가 독립적으로 행동한 문제를 명확히 다루지 못해 AI 에이전트 행동에 대한 책임 소재도 불분명하다.

AI 에이전트의 독립적 의사결정, 공격 표면 증가 등으로 인해 기존 보안 체계로 충분한 검증·제어하기 어려운 한계가 있어 위협 평가를 바탕으로 적절한 보안 체계를 마련할 필요성이 커지고 있다.

기본적으로 AI 에이전트의 의사결정 과정을 기록·추적하는 체계 구축, 사람의 검토·승인 절차 도입, 최소 권한 부여 및 관리, 요청 작업에 대한 실시간 모니터링 및 검증 등이 필요하다.

금융보안원은 금융회사가 AI 에이전트의 자동화 편의성을 적극 활용하는 동시에 잠재적 보안 위협을 충분히 인지하고 종합적인 AI 보안 체계를 구축할 수 있도록 지속적으로 지원할 계획이다.

우한나 한국금융신문 기자 hanna@fntimes.com