Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Optimizing Temperature for Language Models with Multi-Sample Inference

Created by
  • Haebom

저자

Weihua Du, Yiming Yang, Sean Welleck

개요

본 논문은 다중 샘플 집계 전략(예: 다수결 투표, 최상위 N개 샘플링)을 사용하는 대규모 언어 모델(LLM)의 예측 정확도 향상에 있어 온도 선택의 중요성을 다룹니다. 기존 방식은 고정된 기본 온도에 의존하거나, 구하기 어려운 라벨링된 검증 데이터를 필요로 하는 반면, 본 논문은 과제 특정 검증 데이터 없이 다양한 LLM에 대한 (거의) 최적의 온도를 자동으로 식별하는 방법을 제시합니다. 모델 아키텍처, 데이터셋, 과제 유형, 모델 크기, 예측 정확도의 변화를 고려하여 온도의 역할에 대한 포괄적인 분석을 제공하며, 고정 온도 기준보다 성능이 우수한 새로운 엔트로피 기반 지표를 제안합니다. 또한, 확률적 과정 모델을 통합하여 온도와 모델 성능 간의 관계에 대한 심층적인 통찰력을 제공합니다.

시사점, 한계점

시사점:
과제 특정 검증 데이터 없이 LLM의 다중 샘플 집계 전략에 대한 최적 온도를 자동으로 결정하는 새로운 방법 제시.
엔트로피 기반 지표를 활용하여 고정 온도 기준보다 우수한 성능 달성.
확률적 과정 모델을 통해 온도와 모델 성능 간의 관계에 대한 해석력 향상.
모델 아키텍처, 데이터셋, 과제 유형, 모델 크기 등 다양한 요소에 대한 온도의 영향 분석 제공.
한계점:
제안된 엔트로피 기반 지표의 일반화 성능에 대한 추가적인 검증 필요.
다양한 LLM과 과제에 대한 광범위한 실험적 평가가 필요.
확률적 과정 모델의 복잡성으로 인한 해석의 어려움 가능성.
👍