Daily Arxiv

Kenneth Enevoldsen, Isaac Chung, Imene Kerboua, Marton Kardos, Ashwin Mathur, David Stap, Jay Gala, Wissam Siblini, Dominik Krzeminski, Genta Indra Winata, Saba Sturua, Saiteja Utpala, Mathieu Ciancone, Marion Schaeffer, Gabriel Sequeira, Diganta Misra, Shreeya Dhakal, Jonathan Rystr{\o}m, Roman Solomatin, Omer \c{C}a\u{g}atan, Akash Kundu, Martin Bernstorff, Shitao Xiao, Akshita Sukhlecha, Bhavish Pahwa, Rafa{\l} Poswiata, Kranthi Kiran GV, Shawon Ashraf, Daniel Auras, Bjorn Pluster, Jan Philipp Harries, Loic Magne, Isabelle Mohr, Mariya Hendriksen, Dawei Zhu, Hippolyte Gisserot-Boukhlef, Tom Aarsen, Jan Kostkan, Konrad Wojtasik, Taemin Lee, Marek \v{S}uppa, Crystina Zhang, Roberta Rocca, Mohammed Hamdy, Andrianos Michail, John Yang, Manuel Faysse, Aleksei Vatolin, Nandan Thakur, Manan Dey, Dipam Vasani, Pranjal Chitale, Simone Tedeschi, Nguyen Tai, Artem Snegirev, Michael Gunther, Mengzhou Xia, Weijia Shi, Xing Han Lu, Jordan Clive, Gayatri Krishnakumar, Anna Maksimova, Silvan Wehrli, Maria Tikhonova, Henil Panchal, Aleksandr Abramov, Malte Ostendorff, Zheng Liu, Simon Clematide, Lester James Miranda, Alena Fenogenova, Guangyu Song, Ruqiya Bin Safi, Wen-Ding Li, Alessia Borghini, Federico Cassano, Hongjin Su, Jimmy Lin, Howard Yen, Lasse Hansen, Sara Hooker, Chenghao Xiao, Vaibhav Adlakha, Orion Weller, Siva Reddy, Niklas Muennighoff

개요

본 논문은 기존의 제한적인 언어, 도메인, 과제 다양성으로 인해 제약을 받는 텍스트 임베딩 평가 방식의 한계를 극복하고자, 250개 이상의 언어에 걸쳐 500개 이상의 품질 관리된 평가 과제를 포함하는 대규모 커뮤니티 기반 확장판인 MMTEB(Massive Multilingual Text Embedding Benchmark)를 소개합니다. MMTEB는 지시 사항 따르기, 장문 문서 검색, 코드 검색과 같은 다양하고 어려운 새로운 과제들을 포함하며, 현재까지 가장 큰 규모의 다국어 임베딩 모델 평가 과제 모음입니다. 연구진은 이 모음을 사용하여 여러 다국어 벤치마크를 개발하고, 대표적인 모델들을 평가했습니다. 그 결과, 수십억 개의 매개변수를 가진 대규모 언어 모델(LLM)이 특정 언어 하위 집합과 과제 범주에서 최첨단 성능을 달성할 수 있지만, 공개적으로 이용 가능한 모델 중에서는 5억 6천만 개의 매개변수만을 가진 multilingual-e5-large-instruct 모델이 가장 우수한 성능을 보였다는 것을 발견했습니다. 또한 접근성을 높이고 계산 비용을 줄이기 위해 과제 간 상관관계를 기반으로 하는 새로운 다운샘플링 방법을 도입하여 다양성을 유지하면서 상대적인 모델 순위를 보존했습니다. 검색과 같은 과제는 어려운 음성 데이터를 샘플링하여 더 작지만 효과적인 분할을 생성함으로써 최적화했습니다. 이러한 최적화를 통해 계산 요구량을 크게 줄이는 벤치마크를 도입했습니다. 예를 들어, 새로 도입된 제로샷 영어 벤치마크는 전체 규모 버전과 유사한 순위를 유지하면서 계산 비용은 훨씬 적게 소모합니다.