Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Vers un apprentissage en contexte optimisé par calcul et à plusieurs plans
Created by
Haebom
Auteur
Shahriar Golchin, Yanfei Chen, Rujun Han, Manan Gandhi, Tianli Yu, Swaroop Mishra, Mihai Surdeanu, Rishabh Agarwal, Chen-Yu Lee, Tomas Pfister
Contour
Cet article propose une stratégie efficace de sélection de démos pour l'apprentissage ICL multi-coups sur des modèles de langage à grande échelle (LLM) à contexte long, capables de traiter des millions de jetons. Les méthodes existantes de sélection aléatoire de démos présentent des coûts d'inférence élevés et des gains de performance limités. Dans cet article, nous proposons deux stratégies : l'une combinant un petit nombre de démos similaires à l'échantillon de test avec un grand nombre de démos aléatoires en cache, et l'autre sélectionnant les démos en fonction des centroïdes de la représentation de l'échantillon de test à l'aide du clustering k-means. Les résultats expérimentaux obtenus avec les modèles Gemini Pro et Flash démontrent que la stratégie proposée surpasse la sélection aléatoire et est comparable, voire supérieure, aux méthodes de sélection de démos existantes les plus performantes, tout en réduisant les coûts d'inférence jusqu'à un ordre de grandeur. De plus, nous démontrons que le taux de sélection de démos peut être ajusté selon différents critères afin d'équilibrer performances et coûts d'inférence.
Takeaways, Limitations
•
Takeaways:
◦
Nous démontrons que l’amélioration de la stratégie de sélection de démonstration dans l’apprentissage à prises multiples peut simultanément améliorer les performances et réduire le coût d’inférence.
◦
Les deux stratégies proposées sont simples, faciles à mettre en œuvre et présentent un fort potentiel d’application pratique.
◦
L’ajustement du ratio de sélection de démonstration peut gérer efficacement le compromis entre les performances et le coût d’inférence.
•
Limitations:
◦
L’efficacité de la stratégie proposée peut être limitée à des LLM et à des ensembles de données spécifiques.
◦
D’autres expériences sur des LLM et des ensembles de données plus diversifiés sont nécessaires.
◦
Le réglage des paramètres pour des méthodes telles que le clustering k-means peut affecter les performances.
