카카오 자체 개발 ‘오케스트레이션 벤치마크’ 논문, 세계적 AI 학회 채택

[한국금융신문 정채윤 기자] 카카오(대표이사 정신아닫기정신아기사 모아보기)는 자체 개발한 인공지능(AI) 모델의 오케스트레이션 능력 평가 지표인 ‘오케스트레이션 벤치마크’ 관련 논문이 세계 3대 AI 학술대회인 ‘ICLR 2026’에 채택됐다고 3일 밝혔다.

ICLR(국제표현학습학회)은 글로벌 빅테크 기업들이 주목하는 인공지능 분야의 최고 학술대회다. 올해는 1만 9000여 건의 논문 중 상위 28%만 통과할 정도로 경쟁이 치열했다.

이번 연구는 최근 AI 흐름이 단순 문답형 거대언어모델(LLM)에서 스스로 계획하고 조율하는 에이전틱(Agentic) AI로 진화함에 따라 이러한 트렌드에 맞는 정밀한 평가 기준을 마련했다는 점에서 의의가 있다.
기존 벤치마크는 단편적인 성능 평가에 그쳐 복잡한 사용자 요청을 해석해 적절한 도구를 호출하고 다양한 작업 간 의존 관계를 관리하는 오케스트레이션 능력을 평가하는 데 한계가 존재했다.

이에 카카오는 AI 모델의 작업 계획(Planning)과 도구 실행(Tool Execution) 능력을 분리해 평가하는 새로운 프레임워크를 개발했다. 특히 실제 서비스 환경에서 요구되는 ‘멀티 스텝’과 ‘멀티 도메인’ 처리 능력 검증에 초점을 맞췄다.

이번 오케스트레이션 벤치마크는 여행·쇼핑·금융·일정 등 17개 서비스 도메인과 100여개의 가상 도구를 활용해 구성됐다. 사용자 요청 변경이나 추가 질문 등과 같은 실제 서비스 상의 대화 흐름을 토대로 시나리오를 구축해 실용성을 높였다. 데이터는 전문가의 수작업 검증을 거쳤다. 영어뿐만 아니라 한국어의 문화적 맥락까지 반영해 국내외 기술 생태계 모두에 적용 가능하다.

카카오는 글로벌 AI 생태계 활성화를 위해 해당 논문과 데이터를 오픈소스 플랫폼 ‘깃허브’에 공개했다.

카카오 관계자는 “오케스트레이션 벤치마크는 에이전틱 AI가 실제 서비스 환경에서 안정적으로 작동하는지를 평가하는 핵심 도구로, 스스로 판단하고 이행하는 에이전틱 AI로 진화하는 현 시점에서 의미있는 연구 성과”라며 “향후에도 에이전트 간 협업 및 오케스트레이션 능력 강화를 위한 연구를 지속할 예정이며, 카카오의 에이전틱 AI 방향성에 부합하는 기술의 고도화를 추진해 갈 계획”이라고 말했다.
정채윤 한국금융신문 기자 chaeyun@fntimes.com