인라이플, ‘인간 언어 이해력 갖는 세계 최고 초경량 언어 모델’ Mobile BERT 발표

[한국금융신문 이창선 기자] 인라이플(대표 한경훈)은 9월 18일 한국어 기계 독해 대회(KorQuAD, LG CNS 주최)에서 저사양 스마트폰에서도 탑재할 수 있는 인공지능 언어 모델(Mobile BERT)을 출품했다고 밝혔다.
이와 더불어 인라이플은 지난 25일, 기재부 차관이 자리한 현장 간담회에서 인터넷을 끊은 상태에서 Mobile BERT기술을 활용한 자연어 검색을 시연했다.

언어 모델은 언어 이해 능력을 갖춘 인공지능 모델로 자연어 검색, 요약, 번역 등 언어 이해와 관련한 기능을 이용할 수 있는 모델이다. 그중, BERT는 글로벌 기업 구글이 발표한 인공지능 언어 모델로, 2018년 10월 공개한 이후 국내외 다수의 기업에서 이를 이용하여 다양한 언어와 관련된 서비스에 접목하기 위해 노력해왔다.
하지만 BERT의 뛰어난 성능에 비해 최소 416MB의 저장 용량으로 스마트폰 탑재가 어렵고 1.1억 개의 연산량(parameters)으로 과다한 서버 비용이 발생하여 웹 서비스 제공은 물론 디바이스 제공이 쉽지 않은 상황이었다.

이에 인라이플은 전북대와 협력하여 인간 수준의 언어 이해능력을 갖추고 있으면서도 세계적 수준의 초경량 모델 Mobile BERT를 개발하였다. 이 모델은 한국어 기계 독해 대회(KorQuAD)에서 인간 성능과 비교하여 정확히 맞추는 정확도(EM)는 인간보다 높은 81.07, 비슷하게 맞추는 정확도(F1)에서는 인간과 비슷한 수준(91.20)인 90.25를 기록하였다.

인라이플 'Mobile BERT'의 모델 크기는 36.5MB로 기존 대비 11.9배(91%) 작고 정보 처리 수(Parameters)는 18M로 기존 대비 6.1배(83%) 적은 것이 특징이다.

Mobile BERT는 지식 정보를 담고 있는 모델의 기하학적 특성을 효과적으로 이용하는 기술만 가지고 경량화한 모델이다. 추가적으로 NVIDIA 사의 모델 압축 기술(TensorRT), 지식 증류, 양자화 기법 등 다양한 경량화 기술을 추가 적용할 수 있는 장점도 있다.

이를 통해 인간 수준의 언어 이해 능력을 갖춘 언어 모델을 스마트폰에 직접 탑재하여 인터넷이 끊긴 스마트폰에서도 번역, 요약, 자연어 검색 등 언어 이해와 관련된 기능을 이용할 수 있고 나아가 인공지능 웹 서비스의 서버 비용 절감과 같이 기업의 실질적인 생산성을 높이도록 응용할 수 있어 우리 생활과 밀접하게 관련된 다양한 분야에서 언어 모델 기술을 쉽게 접목할 수 있다는 점에서 이번 연구의 큰 의미가 있다.

한경훈 인라이플 대표는 “지난 6월 인라이플은 독자 기술 연구를 통해 글로벌 기업과 인공지능 기술( BERT)로 경쟁할 수 있음을 보였고, 지금 뛰어넘을 수 있다는 것도 증명하였다. 앞으로 정확도 경쟁보다는 세계 수준의 언어 모델 경량화 기술을 우리 실생활에 어떻게 실용적으로 접목할 수 있을지를 고민하겠다.”라고 밝혔다.

이창선 기자 cslee@fntimes.com