[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Exploiter les LLM pour les récits d'utilisateurs dans les systèmes d'IA : ensemble de données UStAI

Created by
  • Haebom

Auteur

Asma Yamani, Malak Baslyman, Moataz Ahmed

Contour

Cet article souligne le manque de recherche sur l'élicitation et l'analyse des exigences des systèmes d'IA, ainsi que l'absence d'artefacts d'exigences des systèmes d'IA. Il propose une méthode pour générer des récits utilisateurs de systèmes d'IA à partir de résumés d'articles universitaires, en utilisant des modèles de langage à grande échelle (MLH). À l'aide de trois LH, nous générons 1 260 récits utilisateurs à partir de 42 résumés dans 26 domaines, évaluons leur qualité à l'aide du cadre QUS et identifions les exigences non fonctionnelles (NFR) et les principes éthiques pertinents. Les résultats expérimentaux montrent que les LH étudiés peuvent générer des récits utilisateurs qui reflètent les besoins de diverses parties prenantes, ce qui suggère qu'ils constituent des approches utiles pour soutenir la recherche et les premières étapes de l'élicitation des exigences des systèmes d'IA. De plus, nous fournissons publiquement un ensemble de données (UStAI) contenant les récits générés.

Takeaways, Limitations

Takeaways:
Suggérer la possibilité de générer efficacement des user stories pour les systèmes d'IA en tirant parti du LLM.
Contribue à accroître l’efficacité dans les premières étapes de la dérivation des exigences du système d’IA.
Soutenir la recherche et le développement de suivi en fournissant des ensembles de données ouverts (UStAI).
Fournit des informations sur l’analyse des exigences du système d’IA dans divers domaines.
Limitations:
Limites du cadre QUS utilisé pour l’évaluation.
Une validation supplémentaire de la qualité des user stories générées par LLM est nécessaire.
Manque d’analyse détaillée des caractéristiques et des limites des LLM utilisés.
Des recherches supplémentaires sont nécessaires sur l’applicabilité dans les environnements réels de développement de systèmes d’IA.
Problèmes de biais et de fiabilité des méthodologies dépendantes du LLM.
👍