이와 더불어 인라이플은 지난 25일, 기재부 차관이 자리한 현장 간담회에서 인터넷을 끊은 상태에서 Mobile BERT기술을 활용한 자연어 검색을 시연했다.
언어 모델은 언어 이해 능력을 갖춘 인공지능 모델로 자연어 검색, 요약, 번역 등 언어 이해와 관련한 기능을 이용할 수 있는 모델이다. 그중, BERT는 글로벌 기업 구글이 발표한 인공지능 언어 모델로, 2018년 10월 공개한 이후 국내외 다수의 기업에서 이를 이용하여 다양한 언어와 관련된 서비스에 접목하기 위해 노력해왔다.
이에 인라이플은 전북대와 협력하여 인간 수준의 언어 이해능력을 갖추고 있으면서도 세계적 수준의 초경량 모델 Mobile BERT를 개발하였다. 이 모델은 한국어 기계 독해 대회(KorQuAD)에서 인간 성능과 비교하여 정확히 맞추는 정확도(EM)는 인간보다 높은 81.07, 비슷하게 맞추는 정확도(F1)에서는 인간과 비슷한 수준(91.20)인 90.25를 기록하였다.
인라이플 'Mobile BERT'의 모델 크기는 36.5MB로 기존 대비 11.9배(91%) 작고 정보 처리 수(Parameters)는 18M로 기존 대비 6.1배(83%) 적은 것이 특징이다.
Mobile BERT는 지식 정보를 담고 있는 모델의 기하학적 특성을 효과적으로 이용하는 기술만 가지고 경량화한 모델이다. 추가적으로 NVIDIA 사의 모델 압축 기술(TensorRT), 지식 증류, 양자화 기법 등 다양한 경량화 기술을 추가 적용할 수 있는 장점도 있다.
이를 통해 인간 수준의 언어 이해 능력을 갖춘 언어 모델을 스마트폰에 직접 탑재하여 인터넷이 끊긴 스마트폰에서도 번역, 요약, 자연어 검색 등 언어 이해와 관련된 기능을 이용할 수 있고 나아가 인공지능 웹 서비스의 서버 비용 절감과 같이 기업의 실질적인 생산성을 높이도록 응용할 수 있어 우리 생활과 밀접하게 관련된 다양한 분야에서 언어 모델 기술을 쉽게 접목할 수 있다는 점에서 이번 연구의 큰 의미가 있다.
이창선 기자 cslee@fntimes.com