대규모 언어 모델(LLM)은 종종 환각(hallucination)을 생성하는데, 이는 문맥상 부정확하거나 사실적으로 틀린 출력을 생성하는 것을 의미합니다. 본 논문에서는 대조적 디코딩을 통해 환각을 완화하기 위해 환각을 유도하는 새로운 방법인 HICD를 제안합니다. 기존의 대조적 디코딩 방법과 달리, HICD는 모델의 예측에 중요한 어텐션 헤드를 유도 헤드로 선택한 후, 이러한 유도 헤드의 어텐션을 분산시켜 환각을 유도하고, 환각된 출력과 원래 출력을 비교하여 최종 결과를 얻습니다. 본 연구의 접근 방식은 문맥 충실도가 필요한 작업(예: 문맥 완성, 독해, 질문 응답)의 성능을 크게 향상시키고, 정확한 지식 회상이 필요한 작업의 사실성도 향상시킵니다. 유도 헤드 선택 및 어텐션 분산 방법이 다른 환각 유도 방법보다 더 "대조 효과적인" 환각을 생성하여 성능을 능가함을 보여줍니다. 본 연구 결과는 환각을 제어된 방식으로 유도하여 환각을 줄이는 유망한 전략을 제공하며, 다양한 작업에서 LLM의 성능을 향상시킵니다.
