Do Chains-of-Thoughts of Large Language Models Suffer from Hallucinations, Cognitive Biases, or Phobias in Bayesian Reasoning?
Created by
Haebom
Category
Empty
저자
Roberto Araya
개요
본 논문은 대규모 언어 모델(LLM)의 Chain-of-Thought(CoT) 능력을 활용하여 베이즈 추론 학습을 개선하는 방안을 제시한다. LLM의 내부 대화를 통해 추론 과정을 설명하는 CoT는 베이즈 추론 학습에 효과적이지만, LLM은 자율적으로 자연 빈도, 전체 개체, 구현된 휴리스틱 등의 생태학적으로 타당한 전략을 사용하지 않는다는 한계점을 지닌다. 따라서, LLM이 이러한 전략을 사용하도록 유도하는 프롬프트를 활용하여 학습 효과를 높이는 방법을 제안하고, 실험 결과를 통해 LLM이 이러한 전략을 일관되게 사용하지 않고 기호적 추론에 치우치는 경향이 있음을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM의 CoT를 활용한 베이즈 추론 학습의 가능성 제시
◦
상반된 해결책을 제시하는 다양한 LLM을 비교 분석하여 심층 학습 기회 제공
◦
생태학적으로 타당한 전략을 유도하는 프롬프트 디자인을 통한 학습 개선 가능성 확인
•
한계점:
◦
LLM이 생태학적으로 타당한 전략(자연 빈도, 전체 개체, 구현된 휴리스틱)을 자율적으로 사용하지 않음
