Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

De las intenciones a las conversaciones: Generación de diálogos basados ​​en intenciones con aprendizaje contrastivo para la clasificación multiturno

Created by
  • Haebom

Autor

Junhua Liu, Yong Keat Tan, Bin Fu, Kwan Hui Lim

Describir

Para abordar los desafíos de generar conjuntos de datos de conversaciones multilingües a gran escala y específicos de cada dominio, este artículo presenta Chain-of-Intent, un novedoso marco que integra Modelos Ocultos de Markov (HMM) y Modelos de Lenguaje a Gran Escala (LLM). Chain-of-Intent extrae patrones de transición de intenciones específicos de cada dominio de registros de chat de comercio electrónico reales y los utiliza para modelar la dinámica ronda a ronda y las secuencias de intenciones. Posteriormente, parametriza las probabilidades de emisión de los HMM utilizando LLM para generar enunciados naturales y consistentes que se alinean con la intención prevista y el contexto de la conversación. Además, proponemos MINT-CL, un marco de aprendizaje contrastivo multitarea que mejora el rendimiento y reduce la dependencia de grandes conjuntos de datos anotados. Los resultados experimentales demuestran que el método propuesto supera a los modelos de referencia de la competencia tanto en la calidad de la generación de diálogos como en la precisión de la clasificación, especialmente en entornos multilingües. Finalmente, publicamos MINT-E, un corpus completo de conversaciones multilingües, consciente de la intención y de múltiples rondas, derivado del ámbito del comercio electrónico, para futuras investigaciones.

Takeaways, Limitations

Takeaways:
Combinando HMM y LLM para resolver el problema de generar conjuntos de datos a gran escala para entrenar modelos efectivos de clasificación de intención multilingües y de múltiples pasadas.
Cómo reducir la dependencia de grandes conjuntos de datos anotados y mejorar el rendimiento con MINT-CL.
Fomentar la investigación futura mediante la publicación del corpus de conversación multilingüe y multisesión MINT-E.
Sugiere aplicabilidad a varios dominios más allá del comercio electrónico.
Limitations:
Debido a la gran dependencia de los registros de chat de comercio electrónico reales, el rendimiento puede verse afectado por la calidad de los datos del registro.
Depende del rendimiento de LLM, y las limitaciones de LLM pueden afectar el rendimiento de Chain-of-Intent.
Es necesaria una revisión más profunda del tamaño y la diversidad del conjunto de datos MINT-E.
Se necesitan más experimentos para determinar el rendimiento de la generalización a otros dominios.
👍