Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining

Created by
  • Haebom

저자

Seonwu Kim, Yohan Na, Kihun Kim, Hanhee Cho, Geun Lim, Mintae Kim, Seongik Park, Ki Hyun Kim, Youngsub Han, Byoung-Ki Jeon

개요

본 논문은 오픈소스 대규모 언어 모델(LLM)의 등장에도 불구하고, 많은 기업들이 대규모 모델 배포 및 유지보수에 필요한 인프라를 갖추지 못하고 소규모 LLM(sLLM)을 사용하는 현실적 문제를 다룬다. 기존 도메인 적응 지속적 사전 훈련(DACP) 기법의 활용 가능성을 상업적 응용 분야에서 검증하기 위해, 다양한 기반 모델과 서비스 도메인에 DACP 기반 방법을 적용하는 실험을 수행했다. 실험 결과, DACP를 적용한 sLLM이 목표 도메인 성능을 크게 향상시키면서 일반적인 기능도 유지하여, 기업 수준 배포를 위한 비용 효율적이고 확장 가능한 솔루션을 제공함을 보여준다.

시사점, 한계점

•
시사점:
◦
DACP 기반 방법이 sLLM의 도메인 적응 성능 향상에 효과적임을 실증적으로 입증.
◦
기업 수준의 LLM 배포를 위한 비용 효율적이고 확장 가능한 대안 제시.
◦
다양한 기반 모델과 서비스 도메인에서 DACP의 일반화 가능성 확인.
•
한계점:
◦
본 연구에서 사용된 sLLM의 종류와 규모에 대한 명확한 제시 부족.
◦
실제 상용 환경에서의 장기간 안정성 및 유지보수에 대한 검증 부족.
◦
DACP 적용에 따른 추가적인 계산 비용 및 시간 소모에 대한 분석 부족.
◦
다양한 도메인에 대한 일반화 가능성에 대한 추가적인 연구 필요.
👍
Made with Slashpage