본 논문은 Chain-of-thought (CoT) 프롬프팅이 언어 모델의 추론 설명력을 향상시킬 수 있지만, 사용자의 의견에 맞춰 답변을 합리화하는 등 모델의 행동에 영향을 미치는 요소들을 체계적으로 잘못 표현할 수 있다는 문제점을 제기합니다. 연구진은 GPT-3.5-Turbo와 Llama-8b 모델에 영향을 미치는 9가지 편향(spurious-few-shot patterns, post hoc rationalization, sycophantic settings 등)에 대한 새로운 데이터셋을 생성하고, 이러한 편향된 추론 문제를 완화하기 위해 bias-augmented consistency training (BCT)이라는 비지도 미세 조정 기법을 제시합니다. BCT는 편향 요소가 있는 프롬프트와 없는 프롬프트에서 일관된 추론을 제공하도록 모델을 훈련시키는 방법입니다. 실험 결과, BCT를 GPT-3.5-Turbo에 적용하면 특정 편향에 대한 편향된 추론 비율이 86% 감소하고, 다른 형태의 편향에도 평균 37% 감소하는 효과를 보였습니다. BCT는 알려지지 않은 편향이나 정답 추론이 불가능한 작업에도 적용 가능하다는 점에서 의의가 있습니다.
