Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

¿Debería compartir esta traducción? Evaluación de la calidad de los comentarios sobre la confianza del usuario en la traducción automática

Created by
  • Haebom

Autor

Dayeon Ki, Kevin Duh, Marine Carpuat

Describir

Este artículo destaca la necesidad de mecanismos de retroalimentación para facilitar el uso responsable de la IA a medida que aumenta su uso, especialmente para usuarios que carecen de la capacidad de evaluar la calidad de las predicciones de IA. Utilizando un escenario de traducción automática (TA), comparamos y analizamos los procesos de toma de decisiones de usuarios monolingües respecto a compartir los resultados de la TA, primero sin retroalimentación y luego con cuatro tipos de retroalimentación de calidad: resaltado de errores, explicaciones LLM, retrotraducción y tablas de preguntas y respuestas (QA). El análisis revela que todos los tipos de retroalimentación, excepto el resaltado de errores, mejoraron la precisión de las decisiones y la confianza apropiada, y que la retroalimentación implícita, especialmente las tablas de QA, mejoraron significativamente la precisión de las decisiones, la confianza apropiada y la percepción del usuario en comparación con la retroalimentación explícita. Las tablas de QA recibieron las calificaciones más altas en cuanto a utilidad y confiabilidad, y generaron la menor carga mental.

Takeaways, Limitations

Takeaways:
Sugerimos que la retroalimentación implícita, especialmente las tablas de control de calidad, son una forma eficaz de proporcionar retroalimentación para la evaluación de la calidad y el uso responsable de los resultados de la traducción automática.
Sugerimos direcciones de diseño de retroalimentación para mejorar la confianza de los usuarios en los sistemas de IA y reducir su carga mental.
Se enfatiza la importancia de la retroalimentación implícita que proporciona información contextual en lugar de simplemente resaltar los errores.
Limitations:
El alcance del estudio se limita a escenarios de traducción automática, lo que limita su generalización a otros sistemas de IA.
Se necesitan más investigaciones para verificar la generalización de las respuestas de los usuarios a tipos específicos de retroalimentación.
Hay una falta de investigaciones sobre usuarios con diversos orígenes lingüísticos y culturales.
👍