Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Dois-je partager cette traduction ? Évaluation des retours de qualité pour évaluer la confiance des utilisateurs dans la traduction automatique.

Created by
  • Haebom

Auteur

Dayeon Ki, Kevin Duh, Marine Carpuat

Contour

Cet article souligne la nécessité de mécanismes de rétroaction pour faciliter une utilisation responsable de l'IA face à l'augmentation de l'utilisation des systèmes d'IA, en particulier pour les utilisateurs qui ne sont pas en mesure d'évaluer la qualité des prédictions de l'IA. À l'aide d'un scénario de traduction automatique (TA), nous comparons et analysons les processus décisionnels d'utilisateurs monolingues concernant le partage ou non des résultats de TA, d'abord sans rétroaction, puis avec quatre types de rétroaction qualité : la mise en évidence des erreurs, les explications LLM, la rétrotraduction et les tables de questions-réponses (QA). L'analyse révèle que tous les types de rétroaction, à l'exception de la mise en évidence des erreurs, ont amélioré la précision des décisions et la fiabilité appropriée, et que la rétroaction implicite, en particulier les tables de QA, a significativement amélioré la précision des décisions, la fiabilité appropriée et la perception utilisateur par rapport à la rétroaction explicite. Les tables de QA ont reçu les notes les plus élevées en termes d'utilité et de fiabilité, et ont induit la charge mentale la plus faible.

Takeaways, Limitations

Takeaways:
Nous suggérons que les commentaires implicites, en particulier les tableaux d’assurance qualité, constituent un moyen efficace de fournir des commentaires pour l’évaluation de la qualité et l’utilisation responsable des résultats de la traduction automatique.
Nous suggérons des orientations de conception de rétroaction pour améliorer la confiance des utilisateurs dans les systèmes d'IA et réduire leur charge mentale.
Il souligne l’importance d’un retour d’information implicite qui fournit des informations contextuelles plutôt que de simplement mettre en évidence les erreurs.
Limitations:
La portée de l’étude est limitée aux scénarios de traduction automatique, ce qui limite sa généralisabilité à d’autres systèmes d’IA.
Des recherches supplémentaires sont nécessaires pour vérifier la généralisabilité des réponses des utilisateurs à des types spécifiques de commentaires.
Il existe un manque de recherche sur les utilisateurs ayant des origines linguistiques et culturelles diverses.
👍