Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Jina-reranker-v3: Last but Not Late Interaction for Document Reranking

Created by
  • Haebom
Category
Empty

저자

Feng Wang, Yuqing Li, Han Xiao

개요

jina-reranker-v3는 0.6B 파라미터 다국어 문서 재순위 모델로, 'last but not late interaction'이라는 새로운 방식을 도입했습니다. ColBERT와 같은 후기 상호작용 모델과 달리, 쿼리와 문서를 동일한 컨텍스트 윈도우 내에서 인과적 셀프 어텐션을 수행하여 각 문서의 마지막 토큰에서 컨텍스트 임베딩을 추출하기 전에 풍부한 교차 문서 상호 작용을 가능하게 합니다. 이 소형 아키텍처는 생성적 리스트와이즈 재순위 모델보다 10배 작으면서도 61.94 nDCG@10으로 최첨단 BEIR 성능을 달성합니다.

시사점, 한계점

시사점:
소형 모델로도 높은 성능을 달성 가능
'last but not late interaction' 방식을 통해 교차 문서 상호작용을 효과적으로 구현
다국어 환경에서 활용 가능
한계점:
구체적인 한계점은 논문에서 언급되지 않음.
👍