본 논문은 대규모 다중 작업 언어 이해(MMLU) 과제에서 언어 모델의 편향이 답변 선택 선호도에 미치는 영향을 조사합니다. 연구 결과, 언어 모델의 편향은 모델의 선호도를 예측하며, 사고 과정(CoT) 추론을 사용하더라도 인간의 시험 응시 전략을 반영하는 것으로 나타났습니다. 이 문제를 해결하기 위해, 저자들은 반사실적 프롬프팅과 무차별적으로 준비된 CoT(APriCoT)를 도입했습니다. CoT를 사용한 반사실적 프롬프팅만으로는 편향을 완화하기에 충분하지 않지만, APriCoT는 기저 확률의 영향을 효과적으로 줄이고 전반적인 정확도를 향상시킨다는 것을 보여줍니다. CoT는 어떤 프롬프팅 방법론 하에서는 빠른 사고 모델 편향을 강화하는 경향이 있으므로, 편향 완화에는 느린 사고 과정이 필요하다는 것을 시사합니다. APriCoT는 더욱 견고하고 공정한, '느리게 생각하는' 언어 모델을 개발하기 위한 한 걸음입니다.
