본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제를 해결하기 위해 새로운 방법인 HICD(Hallucination Induction for Contrastive Decoding)를 제시합니다. HICD는 기존의 대조적 디코딩 방법과 달리, 모델의 예측에 중요한 어텐션 헤드를 선택하여 환각을 유도합니다. 선택된 어텐션 헤드의 어텐션을 분산시켜 환각을 유발하고, 이 환각된 출력과 원래 출력을 비교하여 최종 결과를 얻습니다. 본 연구는 문맥 일관성이 중요한 문맥 완성, 독해, 질문 응답 등의 작업에서 성능을 향상시키고, 정확한 지식 재현이 필요한 작업에서 사실성을 향상시킴을 보여줍니다. 특히, 어텐션 헤드 선택 및 어텐션 분산 방법을 통해 더욱 효과적인 대조적 환각을 유도하여 다른 환각 유도 방법보다 우수한 성능을 달성합니다. 즉, 제어된 방식으로 환각을 유도하여 환각을 줄이는 유망한 전략을 제시합니다.
