Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Regresión de razonamiento intensivo

Created by
  • Haebom

Autor

Diane Tchuindjo, Omar Khattab

Describir

Este artículo se centra en el problema de regresión intensiva en inferencia (RiR). RiR es el proceso de inferir características numéricas matizadas a partir de un texto. A diferencia de las tareas estándar de regresión lingüística, como el análisis de sentimientos o la medición de similitud, RiR suele aparecer en problemas ad hoc, como la puntuación basada en rúbricas o la recuperación específica de dominio. Su característica única es que requiere un análisis de texto exhaustivo en situaciones donde se dispone de datos de entrenamiento y recursos computacionales limitados. Definimos tres problemas prácticos como tareas RiR, establecemos una línea base y comprobamos la hipótesis de que el ajuste fino de un modelo de lenguaje grande (LLM) fijo y un codificador Transformer sería complejo en RiR. Para abordar esto, proponemos MENTAT, un método ligero que combina la optimización de indicadores con reconocimiento de lotes y el aprendizaje por conjuntos de redes neuronales. Demostramos que MENTAT logra una mejora del rendimiento de hasta un 65 % con respecto a los modelos de línea base. Sin embargo, concluimos que aún existe un margen de mejora significativo en el campo de RiR.

Takeaways, Limitations

Takeaways:
Presentamos un nuevo punto de referencia para problemas de regresión con inferencia intensiva (RiR).
Demostramos las limitaciones de los métodos existentes y proponemos un nuevo enfoque llamado MENTAT.
MENTAT muestra un rendimiento mejorado en comparación con los métodos existentes y sugiere la posibilidad de resolver el problema de RiR.
Limitations:
Los puntos de referencia presentados se limitan a tres problemas y requieren más investigación sobre su generalización.
MENTAT todavía no es una solución perfecta para el problema de RiR y se necesitan más mejoras de rendimiento.
Se necesita más investigación en profundidad para avanzar en el campo RiR.
👍