QZhou-Embedding은 Qwen2.5-7B-Instruct 기반 모델을 활용하여 개발된 범용 맥락적 텍스트 임베딩 모델입니다. 다양한 텍스트 데이터셋을 통합하는 데이터 변환 방식과 모델 학습 효율을 높이는 작업별 학습 전략을 포함하는 통합 다중 작업 프레임워크를 갖추고 있습니다. LLM API를 활용한 데이터 합성 파이프라인을 통해 의미 풍부성과 샘플 난이도를 향상시켰으며, 검색 중심의 사전 학습과 전체 작업 미세 조정의 2단계 학습 전략을 사용합니다. MTEB 및 CMTEB 벤치마크에서 최첨단 성능을 달성했으며, 재순위 지정, 클러스터링 등의 작업에서도 최고 성능을 보였습니다. 고품질의 다양한 데이터가 검색 모델 성능 향상에 중요하며, LLM의 생성 능력을 활용하면 임베딩 모델의 성능 향상에 기여할 수 있음을 보여줍니다. 모델 가중치는 Apache 2.0 라이선스 하에 HuggingFace에서 공개되며, 재현성을 위해 평가 코드와 지침을 GitHub에 제공합니다.
