Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Decodificación de evitación para la generación de historias diversas de múltiples ramas

Created by
  • Haebom

Autor

Parque Kyeongman, Nakyeong Yang, Kyomin Jung

Describir

Este artículo propone una novedosa estrategia de decodificación, la Decodificación de Evitación, para abordar el problema de los modelos de lenguaje a gran escala (LLM) que generan resultados repetitivos y monótonos debido a la limitada diversidad creativa para la misma consigna de entrada, especialmente en tareas como la generación de historias. La Decodificación de Evitación modifica los logits de tokens penalizando la similitud con los resultados generados previamente, fomentando así narrativas multirama más diversas. Esta penalización se equilibra adaptativamente, priorizando las penalizaciones de similitud a nivel de concepto en las etapas iniciales para promover la diversidad en los conceptos iniciales de la historia, y enfatizando gradualmente las penalizaciones de similitud a nivel de narrativa en las etapas posteriores para garantizar desarrollos argumentales naturales pero diversos. El método propuesto logra una diversidad de resultados hasta 2,6 veces mayor que los métodos existentes, reduce la repetición en un promedio del 30% y mitiga eficazmente la degradación del texto. Además, demostramos que el método activa un rango más amplio de neuronas, aprovechando así la creatividad inherente del modelo.

Takeaways, Limitations

Takeaways:
Presentamos la decodificación de evitación, una nueva estrategia de decodificación que mejora la diversidad de salida de LLM.
Logra una diversidad de producción y una reducción de repeticiones significativamente mayores que los métodos existentes.
Aliviar los problemas de degradación del texto.
Demostrando la creatividad inherente de LLM.
Limitations:
Se necesitan más experimentos para evaluar el rendimiento de generalización del método propuesto.
Es necesario verificar la aplicabilidad a diferentes tipos de LLM y empleos.
Se necesitan más investigaciones para determinar la proporción óptima entre penalizaciones por similitud a nivel de concepto y a nivel de descripción.
👍