Transformer 기반 텍스트 임베딩 모델은 MIRACL 및 BEIR과 같은 벤치마크에서 매개변수 수를 늘림으로써 성능을 향상시켰지만, 추론 지연 시간 및 메모리 사용량 증가와 같은 배포 문제를 야기했습니다. 특히 RAG(Retrieval-Augmented Generation) 애플리케이션에서는 대규모 모델의 메모리 요구 사항 증가로 데이터셋 수용량이 제한되고, 지연 시간 증가로 쿼리 시간 성능이 직접적으로 영향을 받습니다. 본 논문에서는 최초의 범용 MoE(Mixture of Experts) 텍스트 임베딩 모델인 Nomic Embed v2를 소개합니다. Nomic Embed v2는 동일한 매개변수 클래스의 모델보다 단일 언어 및 다국어 벤치마크 모두에서 우수한 성능을 보이며, 두 배 크기의 모델과도 경쟁력 있는 성능을 유지합니다. 모든 코드, 모델 및 평가 데이터를 오픈 소스로 공개하여 재현성을 확보했습니다.
