본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제를 해결하기 위한 새로운 방법인 HICD(Hallucination Induction for Contrastive Decoding)를 제안합니다. HICD는 기존의 대조적 디코딩 방법과 달리, 모델의 예측에 중요한 어텐션 헤드를 선택하여 환각을 유도합니다. 선택된 어텐션 헤드의 어텐션을 분산시켜 환각을 유발하고, 이를 원래 출력과 비교하여 최종 결과를 얻습니다. 실험 결과, 문맥 일관성이 중요한 문맥 완성, 독해, 질문 응답과 같은 작업에서 성능을 크게 향상시켰으며, 정확한 지식 재현이 필요한 작업에서도 사실성을 향상시켰습니다. 제어된 방식으로 환각을 유도하여 환각을 줄이는 유망한 전략을 제시합니다.
