Humans and LLMs Diverge on Probabilistic Inferences

Created by

Haebom

저자

Gaurav Kamath, Sreenath Madathil, Sebastian Schuster, Marie-Catherine de Marneffe, Siva Reddy

💡 개요

본 연구는 인간과 대규모 언어 모델(LLM)이 불확실한 정보를 바탕으로 확률적 추론을 수행하는 방식에 차이가 있음을 밝힙니다. 인간의 확률적 추론은 불확실성을 반영하는 점진적인 판단을 보이는 반면, 최신 LLM들은 이러한 인간의 반응 분포를 일관되게 재현하지 못합니다. 이는 LLM의 추론 능력이 결정론적 상황을 넘어 확률적 추론까지 확장되어 평가되어야 함을 시사합니다.

🔑 시사점 및 한계

•

인간은 불완전한 정보 하에서 추론할 때 확률적이고 다양한 판단을 내리는 반면, LLM은 이러한 인간의 확률적 추론 패턴을 효과적으로 모방하지 못합니다.

•

본 연구에서 제안된 ProbCOPA 데이터셋은 LLM의 확률적 추론 능력을 평가하는 데 유용한 도구가 될 수 있습니다.

•

LLM의 추론 과정 분석 결과, 확률적 추론에 대한 공통적인 패턴이 발견되었지만, 인간과 LLM 간의 근본적인 추론 방식의 차이는 여전히 존재합니다.

•

결정론적인 논리 및 수학적 추론뿐만 아니라, 불확실성을 다루는 확률적 추론에 대한 LLM의 평가가 필요합니다.

PDF 보기

Made with Slashpage