챗GPT 도전장 내민 클로바X, 로컬 정보 척척…최신성·정확성은 아쉬워

[한국금융신문 이주은 기자] 네이버(대표 최수연닫기최수연기사 모아보기)가 글로벌 빅테크 대항마로 띄운 대화형 AI 서비스 ‘클로바X’에 초기부터 많은 이용자가 몰리고 있다. 국내 첫 자체 개발 챗봇 서비스기도 하고, 한국에 특화됐다는 점에서 기대가 높았던 만큼 대기까지 발생했다. 기자가 직접 써보니 네이버가 지속 강조한 것과 같이 국내 정보는 외산 AI 챗봇보다 앞서지만, 최신성 측면에서는 미흡한 느낌이었다.

지난 24일 베타 서비스(시범 운영)를 시작한 ‘클로바X’는 네이버 자체 대규모언어모델 ‘하이퍼클로바X’를 백본으로 개발됐다. 오픈AI의 챗GPT와 유사한 형태의 서비스로, 만 19세 이상부터 이용 가능하며 네이버 로그인 상태에서 3시간 동안 30개를 질문할 수 있다.

네이버는 클로바X가 선두에 있는 구글의 바드, 오픈AI의 챗GPT와 비교해 압도적인 한국어 학습량을 가졌다는 점을 최대 강점으로 꼽았다. 이를 비교해보기 위해 클로바X와 챗GPT에 같은 내용을 물어봤다.
“서울 강동구에 있는 부침개 맛집 5곳을 추천해줘”라는 질문에 클로바X와 챗GPT 모두 5곳의 가게명과 간략한 식당 정보를 알려줬다. 네이버 내·외부 서비스를 연결하는 ‘스킬’ 기능을 활성화한 상태로 질문하자 답변 하단에 가게 상세 페이지로 이동 가능한 네이버 지도 링크까지 제공했다.

챗GPT도 숫자 목록을 만들어 가게 5곳과 간단한 가게 정보, 상세 주소까지 제공했다. 다만 어색한 ‘하남돼지 부침개’, ‘더후라이팬 부천총각 부침개’ 등 어색한 상호에 검색해보니 아예 존재하지 않는 식당이었다. 겉으로 보기에는 그럴싸하지만, 정확도는 낮은 답변을 내놓은 거다.

한국어에 강점을 가진 만큼 사투리나 신조어에도 강했다. 네이버 측에 따르면 클로바X의 한국어 학습량은 초창기 챗GPT 3.5의 6500배 이상이다. 그만큼 한국 문화나 제도에 맞는 답변 형성이 가능하다는 설명이다.

클로바X에 “‘밥 먹었어?’는 충청도, 경상도, 제주도 사투리로 뭐야?”라고 물었다. 클로바X는 충청도 사투리로 ‘밥 먹었슈?’, 경상도 사투리로 ‘밥 뭇나?’, 제주도 사투리로 ‘밥 먹었수과?’라고 옳게 설명했다.

국내 인기 예능 프로그램 ‘무한도전’에서 파생된 유행어 ‘무야호’에 대해서도 질문했다. 클로바X는 “대한민국에서 유행하는 밈으로, 2006년 MBC에서 방영된 예능 프로그램 무한도전에서 유래됐다”며 “무야호는 2021년 4월 MBC 예능 프로그램 '놀면 뭐하니?'에서 개그맨 유재석이 무야호를 외치는 장면이 다시 화제가 되면서 인터넷 밈으로 유행하게 됐다”고 정확하게 설명했다. 인터넷 커뮤니티와 소셜 미디어에서 주로 긍정적 의미로 사용된다는 것까지 부연하기도 했다.
구체적인 여행 계획을 짜달라는 요청에도 보편적으로 방문객이 많은 관광지와 맛집을 더해 계획을 세워줬다.

네이버가 자신 있게 내놨던 ‘멀티턴(Multi-turn)’ 대화도 경험할 수 있었다. 멀티턴 대화는 자기소개서 작성이나 면접 준비 등에 사용할 수 있는 질문과 답변이 연달아 이어지는 대화다. “경제학과를 나와 언론사에 취업하고자 해. 면접관 역할을 해달라”는 질문에 클로바X는 ▲자기소개 ▲지원 이유 ▲학부에서 어떤 과목을 수강했고 가장 기억에 남는 과목은 무엇인지 등 꽤 현실적인 면접 질문들을 뽑아줬다.

다만 최신 정보를 확인하는 과정에서는 꽤 미흡한 모습을 보였다. 클로바X의 백본이 되는 하이퍼클로바X가 매일 갱신되는 최신 데이터를 학습한다는 최수연 네이버 대표의 설명을 떠올렸을 때 의문이었던 부분이다.

지난 25일(현지시간) 미국 오하이오주에서 열린 국제경제 심포지엄 잭슨홀 미팅에서 제롬 파월 연준 의장의 발언을 정리해달라고 요청했다. 클로바X는 2021년과 2022년 잭슨홀 미팅 당시 파월 의장의 발언을 요약해 올해 발언인 것처럼 전달해 줬다. 최하단에 쓰인 정보는 모두 거짓으로, 대규모언어모델의 고질적인 문제인 할루시네이션(주어진 데이터 또는 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 것)이 나타났다.

일본 오염수 방류 현황을 묻자 오염수 방류가 야기할 수 있는 문제, 일본 정부가 오염수 방류를 막기 위해 해야 할 노력 등을 숫자까지 매겨 논리적으로 설명했다. 다만 언제 오염수 방류가 시작됐는지와 같은 구체적인 현황에 대해서는 또 잘못된 시점을 제시하는 등 할루시네이션 현상을 확인할 수 있었다.

정치나 사회, 종교 등 개인의 주관성이 들어갈 법한 질문에 대해서도 철저히 회피했다. ‘어느 정당을 지지해야 할까?’, ‘A와 B 중 어떤 종교가 더 낫나?’, ‘현 정부의 국정 운영에 대해 평가해줘’ 등에 대해서는 인공지능 언어모델이기 때문에 구체적인 평가를 제공할 수 없다는 무미건조한 답변을 내놨다.

챗GPT와 바드에 비해 대답 소요 시간이 훨씬 길다는 점도 아쉬웠다.

네이버는 이번 클로바X를 베타 서비스로 공개한 것인 만큼 향후 이용자의 피드백을 받아 성능을 고도화하겠는 방침이다. 또 네이버쇼핑과 네이버 여행 등 내부 서비스와 연계 능력을 높이고 배달의 민족과 요기요, 야놀자 등 외부 기업과 협력해 ‘스킬’ 기능을 고도화한다는 목표다. 문서 파일을 업로드한 후 이를 기반으로 대화를 나누거나 사진을 자연어 명령으로 편집할 수 있는 기능도 추가할 계획이다.

이주은 기자 nbjesus@fntimes.com