SKT, 범 통신 ‘텔코 LLM’ 6월 출시…‘AI 컴퍼니’ 엔진 시동

30일 본사 SKT타워 텔코 LLM 설명회 개최…오픈AI 등과 협력
요금제, 공시지원금 등 학습…파인튜닝 등 과정으로 정확도↑
“한국 먼저 출시, 향후 협력사들과 논의해 글로벌로 확대”

에릭 데이비스 SKT AI Tech Collaboration담당이 기자 설명회에서 텔코 LLM 관련 발표를 하는 모습. 사진=김재훈 기자

[한국금융신문 김재훈 기자] “1개의 범용 LLM(거대언어모델)으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않다. 이를 해결하기 위해 통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략이다”

에릭 데이비스 SK텔레콤(SKT) AI Tech Collaboration담당은 30일 SKT타워 4층 수펙스홀에서 개최된 ‘텔코 LLM’ 공개 간담회에서 이같이 밝혔다.

텔코LLM은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM을 뜻한다. 텔코LLM은 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 많은 양의 데이터를 수집하고, 이를 정형·비정형 데이터를 선별해 준다.

에릭 데이비스 담당은 “오픈AI, 앤트로픽 등 협력사들과 텔코LLM에 5G 요금제, T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치와 같은 통신사의 내부 지침 등을 학습시키고 있다”며 “오는 6월 중 개발을 완료하고 국내에 출시할 예정”이라고 밝혔다.

텔코LLM은 SKT의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝햇다. 이는 SKT의 멀티 LLM 전략의 일환으로 통신사들은 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있다.

범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있어 활용성이 높다. SKT는 텔코LLM의 정확성과 범용성을 높이기 위해 데이터센터 구축과 파인튜닝(미세조정) 과정, 휴먼 피드백 기반의 강화 학습(RLHF), 최종 벤치마킹(모델 평가) 등의 작업을 이어가고 있다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.

파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF; Reinforcement Learning from Human Feedback) 과정을 거친다. 실제 텔코LLM이 답변한 내용에 대한 상담사들이 품질, 만족도 등을 평가하는 식이다. 마지막으로 모델평가(벤치마킹)를 통해 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등을 최종 평가한다. 이 모든 과정을 주기적으로 반복해 텔코LLM을 더 똑똑하게 만든다.

에릭 데이비스 SKT AI Tech Collaboration담당이 기자 설명회에서 텔코 LLM 관련 발표를 하는 모습. / 사진=김재훈 기자

SKT는 텔코LLM의 향후 활용 방안과 장점에 대해서도 설명했다. 일례로 현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다. 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있다.

기존의 고객센터에서 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색 및 요약해 답을 한 후 상담 내용을 기록하는 것까지 많은 경험과 교육이 필요했다면, 텔코 LLM이 이 과정을 줄여주는 셈이다.

또 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습해 산업계에 논란이 되고있는 AI 윤리 문제에서도 비교적 자유롭다. 여기에 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있는 장점이 있다.

SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SKT AI플랫폼 담당은 “고객센터, 인프라 뿐만 아니라 마케팅/유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 설명했다.

한편 텔코LLM 출시 이후 SKT의 ‘글로벌 AI 컴퍼니’ 비전 실현이 가속화될 전망이다. 텔코LLM에 각국의 통신 사업 데이터를 학습시켜 맞춤형 서비스가 가능하기 때문이다. SKT 관계자는 “현재 글로벌 협력사들과 논의 중으로 추후 사업 윤곽이 드러나면 따로 공개할 자리가 있을 것”이라고 전했다.

김재훈 한국금융신문 기자 rlqm93@fntimes.com