[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

L'arène de l'énergie générative (AEG) : intégration de la conscience énergétique dans les évaluations humaines du modèle de langage étendu (MLE)

Created by
  • Haebom

Auteur

Carlos Arriaga, Gonzalo Martínez, Eneko Sendin, Javier Conde, Pedro Reviriego

Contour

Cet article souligne les difficultés d'évaluation des modèles linguistiques à grande échelle (MLH) et les limites des méthodes d'analyse comparative automatisées existantes (manque de corrélation avec les évaluations humaines). Il propose une nouvelle arène d'évaluation, l'arène de l'énergie générative (AEG), comme alternative à l'arène d'évaluation ouverte participative des utilisateurs (l'arène LM), qui inclut des informations sur la consommation d'énergie. Dans l'AEG, les utilisateurs comparent les réponses de deux modèles et les évaluent, ainsi que les informations sur la consommation d'énergie de chaque modèle. Les premiers résultats montrent que pour la plupart des questions, les utilisateurs ont tendance à préférer des modèles plus petits et plus économes en énergie lorsqu'ils sont conscients de leur consommation d'énergie. Cela suggère que le coût et la consommation d'énergie supplémentaires d'un grand modèle performant ne contribuent pas à améliorer la qualité des réponses perçues par les utilisateurs.

Takeaways, Limitations

•
Takeaways:
◦
Souligne l’importance de prendre en compte la consommation d’énergie dans les évaluations LLM.
◦
Nous démontrons empiriquement que la perception énergétique des utilisateurs influence le choix du modèle.
◦
Sensibilise à l’inefficacité d’une consommation excessive d’énergie pour améliorer les performances.
◦
Présentation de l’aspect pratique des méthodes d’évaluation participatives des utilisateurs telles que l’AEG.
•
Limitations:
◦
Il s’agit de résultats préliminaires du GEA et des recherches plus approfondies sont nécessaires.
◦
Des analyses plus approfondies sont nécessaires sur les niveaux de sensibilisation et les préférences des utilisateurs en matière d’énergie.
◦
Le problème de la normalisation de la manière dont les modèles mesurent et expriment leur consommation d’énergie.
◦
Il est possible que les opinions d’un groupe d’utilisateurs spécifique soient biaisées.
👍
Made with Slashpage