Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive

Created by
  • Haebom

저자

Sarath Sivaprasad, Pramod Kaushik, Sahar Abdelnabi, Mario Fritz

개요

본 논문은 대규모 언어 모델(LLM)이 자율적 의사결정에서 방대한 행동 공간에서 옵션을 샘플링하는 과정에서 사용하는 휴리스틱을 연구합니다. 연구 결과, LLM의 샘플링 행동은 인간의 의사결정과 유사하게, 개념의 기술적 구성요소(통계적 규범을 반영)와 규범적 구성요소(LLM에 내재된 암묵적 이상)로 구성됨을 보여줍니다. 공중 보건, 경제 동향 등 다양한 실제 영역에서 통계적 규범에서 규범적 구성요소로의 샘플 편차가 일관되게 나타남을 보입니다. 또한, LLM의 개념 원형이 인간의 정상성 개념과 유사하게 규범적 규범의 영향을 받는다는 것을 보여줍니다. 사례 연구와 인간 연구와의 비교를 통해 실제 응용에서 LLM 출력에서 이상적인 값으로의 샘플 이동이 상당한 편향된 의사결정을 초래하고 윤리적 문제를 야기할 수 있음을 보여줍니다.

시사점, 한계점

시사점:
LLM의 자율적 의사결정 과정에서 숨겨진 휴리스틱을 밝히고, 이것이 인간의 의사결정과 유사함을 보임.
LLM의 샘플링 편향이 실제 세계의 다양한 영역에서 윤리적 문제를 야기할 수 있음을 제시.
LLM의 개념 원형이 규범적 규범에 영향을 받는다는 것을 밝힘.
한계점:
본 연구는 특정 LLM에 국한된 결과일 수 있으며, 다른 LLM이나 다른 설정에서는 일반화되지 않을 수 있음.
인간과 LLM의 의사결정 과정 비교에 대한 추가적인 연구가 필요함.
LLM의 편향된 의사결정을 완화하기 위한 구체적인 해결책 제시가 부족함.
👍