Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Martingale Score: An Unsupervised Metric for Bayesian Rationality in LLM Reasoning

Created by
  • Haebom
Category
Empty

저자

Zhonghao He, Tianyi Qiu, Hirokazu Shirado, Maarten Sap

개요

대규모 언어 모델(LLM)의 추론 기술 발전에도 불구하고, 반복적 추론이 진실 탐구 행동을 향상시키기보다는 신념 고착 및 확증 편향을 유발할 수 있다는 점을 지적합니다. 본 연구는 베이즈 통계의 마팅게일 속성을 활용하여 LLM 추론에서 신념 고착을 체계적으로 평가하는 프레임워크를 제안합니다. 이 프레임워크는 마팅게일 점수를 사용하여 베이즈적 업데이트 능력의 편차를 측정하고, 이벤트 예측, 가치 판단 질문, 학술 논문 검토 등 다양한 문제 영역에서 신념 고착 현상이 광범위하게 나타남을 확인합니다. 또한, 제안된 마팅게일 점수가 정답 레이블이 있는 문제 영역에서 진실 탐구 능력의 대리 변수로 유용함을 입증합니다.

시사점, 한계점

시사점:
LLM의 반복적 추론이 신념 고착 및 확증 편향을 유발할 수 있음을 발견.
베이즈 통계의 마팅게일 속성을 활용한 신념 고착 평가 프레임워크 제안.
다양한 모델, 추론 기술 및 문제 영역에서 신념 고착 현상 확인.
마팅게일 점수가 진실 탐구 능력의 유용한 대리 변수임을 입증.
한계점:
논문에서 구체적인 한계점 언급 없음. (Abstract 내용에 한정)
👍