Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference
Created by
Haebom
저자
Jin Du, Li Chen, Xun Xian, An Luo, Fangqiao Tian, Ganghua Wang, Charles Doss, Xiaotong Shen, Jie Ding
개요
본 논문은 대규모 언어 모델(LLM)의 인과 추론 능력을 엄격하게 평가하기 위한 새로운 벤치마크인 CausalPitfalls를 제안합니다. 기존 벤치마크들이 단순화된 과제에만 집중하여 Simpson's paradox나 selection bias와 같은 중요한 통계적 함정을 간과하는 문제점을 지적하며, CausalPitfalls는 다양한 난이도의 구조화된 과제와 채점 기준을 제공하여 LLM의 인과 추론 능력과 응답의 신뢰성을 정량적으로 측정합니다. 직접 프롬프팅과 코드 지원 프롬프팅 두 가지 프로토콜을 사용하여 모델을 평가하고, 전문가 평가와 비교하여 유효성을 검증합니다. 실험 결과, 현재 LLM은 통계적 인과 추론에 상당한 한계를 보이는 것으로 나타났으며, CausalPitfalls 벤치마크는 신뢰할 수 있는 인과 추론 시스템 개발을 위한 중요한 지침과 정량적 지표를 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM의 인과 추론 능력에 대한 엄격하고 포괄적인 평가를 위한 새로운 벤치마크(CausalPitfalls) 제시.
◦
Simpson's paradox, selection bias 등 통계적 함정을 고려한 실제 세계 적용 가능성 향상.
