Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Model Extrapolation Expedites Alignment

Created by
  • Haebom

저자

Chujie Zheng, Ziqi Wang, Heng Ji, Minlie Huang, Nanyun Peng

개요

본 논문은 대규모 언어 모델(LLM)의 선호도 정렬 훈련에 드는 높은 계산 비용을 줄이는 효율적인 방법을 제시합니다. 선호도 정렬 훈련은 모델에 새로운 지식을 주입하지 않고 작은 파라미터 변화만을 포함하는 경우가 많다는 점에 착안하여, ExPO(모델 외삽법)라는 간단한 방법을 제안합니다. ExPO는 부분적으로 훈련된 모델과 초기 SFT 체크포인트를 사용하여 1차 근사에 기반한 파라미터 변화를 증폭함으로써 정렬 훈련의 암묵적 최적화 목표를 개선합니다. 추가적인 훈련 오버헤드 없이 이루어집니다. 실험 결과, ExPO는 20%의 훈련 단계만으로 훈련된 DPO 모델의 성능을 완전히 훈련된 모델보다 뛰어넘게 합니다. 또한, 18억개에서 700억개의 파라미터를 가진 기존 오픈소스 LLM의 AlpacaEval 2.0 및 MT-Bench 벤치마크 성능을 향상시키는 것을 보여줍니다.

시사점, 한계점

시사점:
LLM의 선호도 정렬 훈련 비용을 효과적으로 절감할 수 있는 새로운 방법(ExPO)을 제시합니다.
추가적인 훈련 없이 기존 모델의 성능을 향상시킬 수 있습니다.
다양한 규모의 오픈소스 LLM에 적용 가능성을 보여줍니다.
훈련 단계를 줄이면서도 성능을 개선할 수 있음을 실험적으로 증명합니다.
한계점:
ExPO의 성능 향상은 1차 근사에 기반하므로, 모델의 복잡성이나 훈련 데이터의 특성에 따라 성능 향상의 정도가 달라질 수 있습니다.
제한된 규모의 실험 결과만 제시되었으므로, 더욱 다양하고 광범위한 실험이 필요합니다.
새로운 지식을 주입하지 않는다는 가정이 모든 상황에 적용될 수 있는지에 대한 추가적인 검토가 필요합니다.
👍