HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads

작성자

Haebom

카테고리

Empty

저자

Juyuan Wang, Chenxing Wang, Yuchen Fang, Huiyun Hu, Junwu Du, Aolin Li, Shunlin Rong, Haijun Wu, Jin Xu, Ligang Liu, Dongliang Liao

💡 개요

본 논문은 LLM의 어텐션 가중치에서 직접 관련성 신호를 읽어오는 디코딩 없는 랭킹 재정렬 방법론인 HeadRank를 제안합니다. 기존 방법론의 어텐션 점수 동질화 문제를 해결하기 위해, HeadRank는 엔트로피 정규화를 통한 헤드 선택, 인접 레벨의 선호도 쌍, 그리고 분포 정규화를 통해 어텐션 도메인에서의 선호도 최적화를 수행합니다. 이를 통해 추론 속도를 크게 향상시키면서도 랭킹 성능을 극대화합니다.

🔑 시사점 및 한계

•

디코딩 없는 랭킹 재정렬에서 어텐션 점수의 동질화 문제를 효과적으로 해결하여 미세한 관련성 차이를 포착할 수 있습니다.

•

제안된 HeadRank 프레임워크는 기존의 생성 기반 및 디코딩 없는 랭킹 재정렬 방법론을 능가하는 최신 성능을 달성했습니다.

•

훈련에 사용된 쿼리 수가 매우 적음에도 불구하고 다양한 규모의 모델과 벤치마크에서 일관된 우수한 성능을 보여, 효율적인 학습 및 적용 가능성을 시사합니다.

•

어텐션 헤드 선택 및 정규화 기법이 랭킹 성능에 미치는 영향에 대한 추가적인 탐색이 필요하며, 특정 LLM 아키텍처에서의 일반화 성능 검증이 요구됩니다.

PDF 보기

Made with Slashpage