QZhou-Embedding es un modelo de incrustación de texto contextual de propósito general desarrollado con el modelo Qwen2.5-7B-Instruct. Incorpora un marco multitarea integrado que incorpora métodos de transformación de datos que integran diversos conjuntos de datos de texto y estrategias de aprendizaje específicas para cada tarea para optimizar la eficiencia del entrenamiento del modelo. Optimiza la riqueza semántica y la complejidad de las muestras mediante un flujo de trabajo de síntesis de datos que utiliza la API LLM y emplea una estrategia de aprendizaje en dos etapas: preentrenamiento centrado en la recuperación y ajuste fino global de la tarea. Alcanza un rendimiento excepcional en los benchmarks MTEB y CMTEB, y también demuestra un rendimiento superior en tareas como reordenamiento y agrupamiento. Esto demuestra que contar con datos diversos y de alta calidad es crucial para mejorar el rendimiento del modelo de recuperación, y que aprovechar las capacidades generativas de LLM puede contribuir a un mejor rendimiento del modelo de incrustación. Las ponderaciones del modelo son de código abierto de HuggingFace bajo la licencia Apache 2.0, y el código de evaluación y las instrucciones están disponibles en GitHub para su reproducibilidad.
