[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ÉValuation automatisée de la nouveauté des articles universitaires : une approche collaborative intégrant les connaissances humaines et les modèles de langage à grande échelle

Created by
  • Haebom

Auteur

Wenqing Wu, Chengzhi Zhang, Yi Zhao

Contour

Cet article propose une nouvelle méthode intégrant des modèles linguistiques à grande échelle (MLH) et des connaissances d'experts afin de surmonter les limites des jugements d'experts subjectifs ou de la simple analyse bibliographique pour évaluer la nouveauté des articles universitaires. Nous nous concentrons plus particulièrement sur la nouveauté méthodologique des articles et développons une technique permettant d'affiner un modèle linguistique pré-entraîné (MLH) à l'aide de phrases liées à la nouveauté extraites de rapports d'évaluation par les pairs et de synthèses méthodologiques utilisant des LMH. Grâce à un nouveau module de fusion textuelle basé sur l'attention parcimonieuse, nous intégrons efficacement les LMH et les connaissances d'experts, et vérifions la supériorité de la méthode proposée par des expériences comparatives avec différents modèles de référence.

Takeaways, Limitations_

•
Takeaways:
◦
La combinaison du LLM et des connaissances d’experts suggère la possibilité d’améliorer la précision de l’évaluation de la nouveauté des articles universitaires.
◦
Une nouvelle approche spécifiquement conçue pour évaluer la nouveauté méthodologique est présentée.
◦
Présentation d'une méthode efficace d'intégration des connaissances à travers un module de fusion de guides de texte basé sur l'attention clairsemée.
◦
Performances supérieures vérifiées expérimentalement par rapport aux méthodes existantes.
•
Limitations:
◦
Des vérifications supplémentaires des performances de généralisation de la méthode proposée sont nécessaires. (Des expériences sur divers domaines et types d'articles sont nécessaires.)
◦
Il est nécessaire de prendre en compte et de trouver des solutions aux limites du LLM (biais, hallucinations, etc.).
◦
Il est nécessaire d’analyser l’impact des différences qualitatives dans les rapports d’évaluation par les pairs sur les résultats.
◦
Se concentre uniquement sur la nouveauté méthodologique, l'évaluation d'autres types de nouveauté (théorique, appliquée, etc.) n'est pas prise en compte.
👍
Made with Slashpage