대규모 언어 모델(LLM)은 종종 환각(hallucination)을 생성하여 문맥적으로 부정확하거나 사실적으로 틀린 출력을 생성합니다. 본 논문에서는 대조적 디코딩을 통해 환각을 완화하기 위해 환각을 유도하는 새로운 방법인 HICD를 제시합니다. 기존의 대조적 디코딩 방법과 달리, HICD는 모델의 예측에 중요한 어텐션 헤드를 유도 헤드로 선택한 다음, 이러한 유도 헤드의 어텐션을 분산시켜 환각을 유도하고, 환각된 출력과 원래 출력을 비교하여 최종 결과를 얻습니다. 본 연구의 접근 방식은 문맥적 충실성이 필요한 작업(예: 문맥 완성, 독해, 질의응답)의 성능을 크게 향상시키며, 정확한 지식 회상이 필요한 작업에서도 사실성을 향상시킵니다. 유도 헤드 선택 및 어텐션 분산 방법이 대조적 디코딩에 더 "대조 효과적인" 환각을 유도하여 다른 환각 유도 방법보다 성능이 우수함을 보여줍니다. 본 연구 결과는 제어된 방식으로 환각을 유도하여 환각을 줄이는 유망한 전략을 제시하며, 다양한 작업에서 LLM의 성능을 향상시킵니다.
