Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Your Pre-trained LLM is Secretly an Unsupervised Confidence Calibrator

Created by
  • Haebom

저자

Beier Luo, Shuoyuan Wang, Yixuan Li, Hongxin Wei

개요

본 논문은 사후 학습된 언어 모델(PoLM)의 과신 문제를 해결하기 위한 새로운 비지도 학습 기법인 DACA(Disagreement-Aware Confidence Alignment)를 제안합니다. PoLM은 사전 학습된 언어 모델(PLM)과 달리 정답과 오답 모두에 높은 확신도를 부여하는 과신 문제를 보이는데, 이는 신뢰도가 중요한 응용 분야에서 문제가 됩니다. DACA는 PLM과 PoLM의 예측 불일치로 인한 과소신 문제를 해결하기 위해, PLM과 PoLM의 예측이 일치하는 경우만을 사용하여 온도 스케일링 매개변수(τ)를 최적화합니다. 이는 불일치 예시의 영향을 제거하여 보다 정확한 확신도 보정을 가능하게 합니다. 실험 결과, 다양한 벤치마크에서 오픈소스 및 API 기반 LLMs의 평균 ECE(Expected Calibration Error)를 최대 15.08%까지 향상시키는 효과를 보였습니다.

시사점, 한계점

•
시사점:
◦
PoLM의 과신 문제를 해결하는 효과적인 비지도 학습 기법 DACA 제시.
◦
기존의 확신도 보정 방법의 한계점인 라벨링 데이터 부족 문제 해결에 기여.
◦
다양한 LLMs(오픈소스 및 API 기반)에서 성능 향상을 검증.
◦
불일치 예시를 활용하여 과소신 문제를 해결하는 새로운 관점 제시.
•
한계점:
◦
DACA의 성능 향상이 특정 벤치마크 및 LLM에 국한될 가능성 존재.
◦
다른 유형의 확신도 보정 방법과의 비교 분석이 더 필요.
◦
PLM과 PoLM 간의 예측 불일치 정의 및 판단 기준에 대한 추가적인 연구 필요.
◦
실제 응용 분야에서의 일반화 성능에 대한 추가적인 검증 필요.
👍
Made with Slashpage