Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models
작성자
카테고리
Empty
저자
Yusuke Sakai, Natthawut Kertkeidkachorn, Kiyoaki Shirai
💡 개요
본 논문은 거대 언어 모델(LLM)의 사실성을 향상시키는 대조 디코딩 방식인 DoLa가 성숙 및 미성숙 계층의 출력 분포 차이에만 의존하는 한계를 지적합니다. 이를 해결하기 위해, 본 연구는 내부 셀프 어텐션 메커니즘에 담긴 구조적 정보를 활용하는 세 가지 어텐션 기반 계층 선택 전략(Attention-JSD, Attention-Entropy-Max, Attention-Entropy-Min)을 제안합니다. 실험 결과, 제안된 전략들이 기존 DoLa보다 우수한 성능을 보였으며, 특히 어텐션 분포가 사실적 지식 해결에 더 민감한 신호를 제공함을 시사합니다.
🔑 시사점 및 한계
•
LLM의 사실성 향상을 위해 출력 어휘 분포뿐만 아니라 내부 어텐션 메커니즘의 구조적 정보를 계층 선택의 신호로 활용할 수 있음을 보여주었습니다.
•
어텐션 기반 계층 선택 전략이 기존 DoLa 방식보다 여러 질문에 대한 답변의 정확도를 높이는 데 효과적임을 실험적으로 입증했습니다.
•
제안된 방법론이 다양한 LLM 및 태스크에 얼마나 일반화될 수 있는지, 그리고 어텐션 정보의 어떤 측면이 사실성 판단에 가장 중요한 역할을 하는지에 대한 추가적인 연구가 필요합니다.
