Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval

Created by
  • Haebom

저자

Kidist Amde Mekonnen, Yosef Worku Alemneh, Maarten de Rijke

개요

본 논문은 아마르냐어와 같은 저자원, 형태소가 풍부한 언어에 대한 효과적인 정보 검색을 위해 사전 훈련된 아마르냐어 BERT 및 RoBERTa 백본 기반의 아마르냐어 특화 밀집 검색 모델을 제시합니다. RoBERTa-Base-Amharic-Embed 모델(1억 1천만 파라미터)은 최고 성능의 다국어 기준 모델인 Arctic Embed 2.0(5억 6천 8백만 파라미터)보다 MRR@10에서 17.6%, Recall@10에서 9.86% 향상된 성능을 보였습니다. 또한, 더욱 작은 크기의 RoBERTa-Medium-Amharic-Embed 모델(4천 2백만 파라미터)도 경쟁력 있는 성능을 유지했습니다. ColBERT 기반의 후기 상호작용 검색 모델은 평가된 모든 모델 중 가장 높은 MRR@10 점수(0.843)를 달성했습니다. 본 연구는 아마르냐어 정보 검색의 효과를 체계적으로 평가하기 위해 희소 및 밀집 검색 기준 모델과 비교 분석을 수행하며, 저자원 환경의 주요 과제를 강조하고 언어 특화 적응의 중요성을 보여줍니다. 데이터셋, 코드베이스, 훈련된 모델은 공개적으로 제공됩니다.

시사점, 한계점

•
시사점:
◦
저자원 언어인 아마르냐어에 대한 효과적인 밀집 검색 모델을 제시.
◦
아마르냐어 특화 모델이 다국어 모델보다 우수한 성능을 보임을 실험적으로 증명.
◦
모델 크기 대비 성능의 균형을 고려한 다양한 모델 제시.
◦
ColBERT 기반 모델의 우수한 성능 확인.
◦
저자원 정보 검색 연구를 위한 데이터셋, 코드, 모델 공개.
•
한계점:
◦
아마르냐어에 특화된 연구이므로 다른 저자원 언어로의 일반화 가능성은 추가 연구 필요.
◦
평가 데이터셋의 규모 및 다양성에 대한 추가적인 검토 필요.
◦
특정 모델 아키텍처 및 하이퍼파라미터에 대한 의존성 존재.
👍
Made with Slashpage