Right for the Wrong Reasons: Epistemic Regret Minimization for Causal Rung Collapse in LLMs

Created by

Haebom

저자

Edward Y. Chang

💡 개요

본 논문은 대규모 언어 모델(LLM)이 잘못된 이유로 정답을 맞추는 현상인 "Rung Collapse"를 다룹니다. 이는 인과 추론의 오류가 학습 과정에서 강화되어 발생하는 문제로, 분포 변화에 취약합니다. 연구진은 이를 해결하기 위해 인과적 추론 오류를 독립적으로 처벌하는 "Epistemic Regret Minimization (ERM)"이라는 새로운 학습 목표와 이를 위한 세 가지 기여점을 제안합니다. 실험 결과, ERM은 기존 모델의 Rung Collapse 문제를 효과적으로 개선하며, 특히 잘못된 이유로 정답을 맞추는 경우에도 인과적 추론 오류를 바로잡는 데 뛰어난 성능을 보였습니다.

🔑 시사점 및 한계

•

LLM의 인과 추론 능력 부족이 "Rung Collapse" 현상을 야기하며, 이는 분포 변화에 모델을 취약하게 만듭니다.

•

제안된 ERM은 인과적 추론 오류를 독립적으로 교정함으로써, LLM이 올바른 추론 과정을 학습하도록 돕고 "Aleatoric Entrenchment"를 방지합니다.

•

ERM은 다양한 LLM에서 Rung Collapse를 효과적으로 감소시키고, 기존의 방법으로 개선이 어려운 경우에도 유의미한 성능 향상을 보였지만, 복잡하고 동적인 인과 관계를 다루는 데는 여전히 한계가 있을 수 있습니다.

PDF 보기

Made with Slashpage