Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PLaMo 2 Technical Report

Created by
  • Haebom

저자

Preferred Networks, :, Kaizaburo Chubachi, Yasuhiro Fujita, Shinichi Hemmi, Yuta Hirokawa, Toshiki Kataoka, Goro Kobayashi, Kenichi Maehashi, Calvin Metzger, Hiroaki Mikami, Shogo Murai, Daisuke Nishino, Kento Nozawa, Shintarou Okada, Daisuke Okanohara, Shunta Saito, Shotaro Sano, Shuji Suzuki, Daisuke Tanaka, Avinash Ummadisingu, Hanqin Wang, Sixue Wang, Tianqi Xu

개요

PLaMo 2는 일본어에 특화된 일련의 대규모 언어 모델입니다. Samba 기반의 하이브리드 아키텍처를 사용하며, 지속적인 사전 훈련을 통해 32K 토큰 컨텍스트를 지원하는 완전한 어텐션으로 전환됩니다. 데이터 부족 문제를 해결하기 위해 광범위한 합성 말뭉치를 활용하여 훈련되었으며, 가중치 재사용 및 구조적 가지치기를 통해 계산 효율성을 달성했습니다. 이 효율적인 가지치기 방법론을 통해 100B 모델과 비슷한 성능을 달성하는 8B 모델을 생성했습니다. 사후 훈련은 지도 학습 미세 조정(SFT) 및 직접 선호도 최적화(DPO) 파이프라인을 사용하여 모델을 추가로 개선하며, 합성 일본어 지시 데이터 및 모델 병합 기술을 활용했습니다. vLLM 및 양자화를 사용하여 추론을 최적화하여 정확도 손실을 최소화했으며, 일본어 벤치마크에서 최첨단 결과를 달성하여 지시 따르기, 언어 유창성 및 일본어 특유의 지식 측면에서 유사한 크기의 오픈 모델을 능가합니다.

시사점, 한계점

•
시사점:
◦
Samba 기반 하이브리드 아키텍처와 지속적 사전 훈련을 통한 32K 토큰 컨텍스트 지원으로 대규모 언어 모델의 효율성과 성능을 향상시켰습니다.
◦
합성 데이터 활용 및 효율적인 가지치기 기법을 통해 8B 모델로 100B 모델 수준의 성능을 달성하여 모델 경량화에 성공했습니다.
◦
SFT, DPO, 합성 데이터 및 모델 병합 기술을 활용한 사후 훈련으로 일본어 벤치마크에서 최첨단 성능을 달성했습니다.
◦
vLLM 및 양자화를 통한 추론 최적화로 정확도 저하 없이 효율적인 추론이 가능합니다.
•
한계점:
◦
합성 데이터에 대한 의존도가 높아 실제 데이터와의 차이로 인한 성능 저하 가능성이 존재합니다.
◦
모델의 규모가 줄어들었지만, 여전히 상당한 계산 자원이 필요할 수 있습니다.
◦
본 논문에서는 구체적인 합성 데이터 생성 방법이나 SFT, DPO 파이프라인의 세부적인 설정에 대한 설명이 부족합니다.
◦
다른 언어에 대한 적용 가능성 및 일반화 성능에 대한 검증이 부족합니다.
👍
Made with Slashpage