Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Deep Retrieval at CheckThat! 2025: Identifying Scientific Papers from Implicit Social Media Mentions via Hybrid Retrieval and Re-Ranking

Created by
  • Haebom

저자

Pascal J. Sager, Ashwini Kamaraj, Benjamin F. Grewe, Thilo Stadelmann

개요

본 논문은 CLEF CheckThat! 2025 경진대회의 하위 과제 4b(소셜 미디어 게시물에 대한 관련 과학 문헌 검색)에서 Deep Retrieval 팀이 사용한 방법론과 결과를 제시합니다. 비공식적 언어와 공식적 언어 간의 차이를 해소하는 강력한 검색을 가능하게 하기 위해, 어휘 정밀도, 의미 일반화, 심층 문맥 재순위 지정을 결합한 하이브리드 검색 파이프라인을 제안합니다. 구체적으로, 미세 조정된 INF-Retriever-v1 모델을 사용한 FAISS 벡터 저장소와 BM25 기반 키워드 매칭을 결합하여 상위 30개의 후보를 BM25로, 100개의 후보를 의미 검색으로 얻은 후, 대규모 언어 모델(LLM) 기반 교차 인코더를 통해 병합 및 재순위 지정합니다. 개발 세트에서 76.46%의 MRR@5, 숨겨진 테스트 세트에서 66.43%의 MRR@5를 달성하여 개발 리더보드 1위, 테스트 리더보드 3위(31개 팀 중)를 차지했습니다. 외부 훈련 데이터 없이 오픈소스 모델을 로컬에서 실행하여 이러한 성과를 달성했으며, 신중하게 설계되고 미세 조정된 검색 파이프라인의 효과를 강조합니다.

시사점, 한계점

시사점:
BM25와 의미 기반 검색, LLM 기반 재순위 지정을 결합한 하이브리드 접근 방식의 효과를 보여줍니다.
외부 훈련 데이터 없이 오픈소스 모델을 활용하여 우수한 성능을 달성한 사례를 제시합니다.
소셜 미디어 게시물과 과학 문헌 간의 언어 차이를 효과적으로 해소하는 방법을 제시합니다.
한계점:
테스트 리더보드에서 1위와의 성능 차이(2%p)가 존재합니다. 더욱 향상된 성능을 위한 추가 연구가 필요합니다.
사용된 모델과 파이프라인의 일반화 성능에 대한 추가적인 분석이 필요합니다.
다른 유형의 소셜 미디어 데이터나 과학 문헌에 대한 일반화 가능성에 대한 검토가 필요합니다.
👍