Cet article étudie systématiquement l'impact de la spécialisation de domaine sur l'efficacité de la recherche lors de l'utilisation de modèles linguistiques à grande échelle (MLA) comme moteurs de recherche denses. Étape cruciale vers le développement d'un moteur de recherche unifié capable de gérer du texte, du code, des images et du contenu multimodal, nous analysons expérimentalement l'impact de l'adaptation des LMA à la tâche sur les performances de recherche. Nous menons des expériences approfondies avec huit LMA Qwen2.5 7B (modèles de base, de réglage dirigé, de spécialisation code/math, d'inférence de texte long et de vision-langage) dans des contextes de recherche à zéro coup et d'apprentissage supervisé. Dans le contexte de recherche à zéro coup, nous prenons en compte la recherche de texte dans le benchmark BEIR et la recherche de code dans le benchmark CoIR. Pour évaluer les performances d'apprentissage supervisé, tous les LMA sont affinés sur le jeu de données MS MARCO. La spécialisation mathématique et l'inférence de texte long dégradent systématiquement les performances dans les trois contextes, suggérant un compromis entre inférence mathématique et correspondance sémantique. Le modèle vision-langage et le LLM spécifique au code affichent des performances supérieures en mode zéro-shot par rapport aux autres LLM, surpassant le BM25 pour les tâches de récupération de code et conservant des performances comparables à celles du LLM de référence dans les contextes d'apprentissage supervisé. Ces résultats suggèrent des pistes prometteuses pour des tâches de récupération intégrées exploitant la fusion inter-domaines et intermodale.
