최근 대량의 텍스트를 활용해 언어 모델을 학습하면, 수많은 정보를 언어 모델에 담을 수 있고, 원하는 정보를 언어 모델로부터 꺼내어 활용할 수 있는 기술이 개발되고 있습니다. 이를 통해 기존의 AI 문제를 푸는 데 언어 모델을 활용하거나, 새로운 영역의 문제를 정의하고 이를 풀고자 하는 시도가 늘어나고 있습니다.
EXAONE Lab에서는 언어 모델이 더 많은 정보를 가지고, 더 많은 일을 수행할 수 있도록 초거대 언어 모델 기술을 연구합니다. 또한, 일을 수행할 때 신뢰도를 높이기 위한 연구 및 실제 필드에 적용하기 위해 모델을 최적화하는 기술도 연구하고 있습니다. 초거대 언어 모델이 갖는 높은 잠재력을 현실화함으로써 AI가 인간의 삶에 도움을 주는 기술을 개발하는 것이 목표입니다.
Model Architecture언어 모델의 성능을 향상시키기 위한 새로운 모델 구조를 고안합니다. 본 연구에서는 transformer를 포함한 다양한 neural network 구조를 탐색하고 성능을 검증합니다.
Pre-training대량의 텍스트 데이터를 활용하여 언어 모델을 사전 학습하는 기술을 연구합니다. 사전 학습을 위해 다양한 학습 objectives 및 transfer learning 기술을 적용하여 초거대 언어 모델의 성능을 극대화합니다.
Multi-lingual Modeling언어 모델이 복수 개의 언어를 다룰 수 있게 학습함으로써 서로 다른 언어로 표현된 지식도 습득할 수 있게 만듭니다. 이를 통해 자원이 부족한 언어에서 배우기 힘든 지식을 자원이 풍부한 언어를 통해 학습할 수 있습니다.
Safety언어 모델이 생성하는 문장은 학습에 사용된 데이터에 기반합니다. 학습 데이터에는 편향적이거나, 불공평하거나, 개인적인 내용이 포함될 수 있어 문제를 야기키실 수 있습니다. 이를 방지하기 위해 해당 표현이 생성되지 않도록 하거나 생성되더라도 해당 표현을 검출해서 회피할 수 있도록 합니다.
Model Compression초거대 언어 모델을 실제 필드에서 활용하기 위해서는 운영 비용을 최적화할 필요가 있습니다. 모델의 성능 하락폭은 최소화하면서 모델 크기를 줄여 인프라 사용에 드는 비용을 줄입니다. Knowledge distillation, pruning, quantization 등의 기술이 연구 대상입니다.
Meet our leader!
EXAONE Lab 이진식 랩장
“EXAONE Lab은 구성원 모두가 열정과 패기로 똘똘 뭉쳐 있습니다. 궁금한 점이 있을 때는 원하는 답을 찾을 때까지 집요하게 파고 드는 프로 Scientist로서의 면모와, 완벽하고 깔끔한 일처리를 추구하는 프로 Engineer로서의 면모를 두루 갖추고 있습니다. 특히, 다른 곳에서 경험할 수 없는 초거대 AI 모델을 다뤄본 귀중한 경험을 보유하고 있고, 초거대 AI 모델에서도 각자가 맡고 있는 분야에서 매우 높은 수준의 전문성을 보유하고 있는 정예 멤버라는 점을 자랑하고 싶습니다.”
초거대 AI, EXAONE의 연구를 이끄는 이진식 랩장님의 인터뷰를 확인해보세요!LG AI연구원의 초거대AI는 다릅니다!