SELF-RAG: Más allá de los límites de los modelos de lenguaje
Haebom
A medida que los modelos de lenguaje continúan desarrollándose, continúan varios experimentos. Entre ellas, está atrayendo la atención la Retrieval Augmented Generation (RAG) como tecnología que permite que los modelos lingüísticos comprendan y generen diversos contextos. Pero RAG también tiene limitaciones. Ha surgido un nuevo estudio para superar estas limitaciones, 'Generación aumentada de recuperación autorreflectante (SELF-RAG)', publicado por la Universidad de Washington y el equipo de investigación de IBM .
¿Qué es la generación aumentada de recuperación (RAG)?
RAG significa Retrieval Augmented Generation. Es una tecnología que genera respuestas más precisas y ricas al hacer referencia a bases de datos o documentos externos cuando un modelo de lenguaje genera una respuesta a una pregunta o solicitud específica.
Entendiendo con un ejemplo de restaurante
Por ejemplo, cuando un cliente pregunta "¿Cuál es el plato más popular del menú de este restaurante?", un modelo de lenguaje típico solo responderá basándose en datos aprendidos previamente y no puede proporcionar información en tiempo real.
Sin embargo, un modelo de lenguaje que utiliza RAG puede consultar las reseñas o los datos del menú de un restaurante en tiempo real para responder: "Actualmente, el plato más popular del menú de este restaurante es el 'filete'".
Limitaciones de RAG
•
Búsqueda indiscriminada de información: aunque RAG hace referencia a datos externos, carece de la capacidad de determinar qué tan precisa y confiable es la información.
•
Versatilidad limitada: A RAG le resulta difícil proporcionar información optimizada para campos o situaciones específicas. En otras palabras, existe la posibilidad de que proporcione información demasiado general.
Entendiendo con un ejemplo de restaurante
•
Búsqueda de información indiscriminada: cuando RAG le informa sobre elementos populares del menú consultando reseñas de restaurantes, no puede determinar qué tan recientes y confiables son las reseñas. Por ejemplo, puede recomendar viejos favoritos haciendo referencia a reseñas de hace varios años.
•
Versatilidad limitada: cuando un cliente dice: "Soy vegetariano, recomiéndeme un menú que me gustaría comer en este restaurante", RAG solo puede recomendar elementos del menú populares en general y no puede considerar si son aptos para vegetarianos.
•
Para superar estas limitaciones se están investigando nuevas tecnologías como SELF-RAG. Esto ayuda al modelo lingüístico a "autorreflexionar" sus propias respuestas, produciendo respuestas más precisas y contextuales.
Características y principio de funcionamiento de SELF-RAG
SELF-RAG (Generación aumentada de recuperación autorreflectante) es una tecnología desarrollada para superar las limitaciones del RAG existente. El modelo utiliza tokens especiales llamados “tokens de reflexión” para evaluar la calidad del texto que produce. Este token sirve para evaluar qué tan objetivo y relevante es el texto generado y su calidad general. Además, el modelo aumenta la credibilidad al proporcionar fuentes para las respuestas generadas.
¿Qué son las fichas de reflexión?
Los “Fichas de Reflexión” son fichas especiales introducidas en el modelo SELF-RAG. Este token sirve para evaluar automáticamente la calidad del texto generado por el modelo. Es decir, evalúa qué tan realista, relevante y de calidad general es el texto generado. Esto permite que el modelo proporcione información más precisa y confiable.
Entendiendo con un ejemplo de restaurante
•
Recomendación de menú: por ejemplo, digamos que un cliente pregunta: "¿Cuál es el elemento del menú más popular en este restaurante?" Un modelo RAG típico generará una respuesta haciendo referencia a varias reseñas o datos del menú. Sin embargo, en este momento es difícil determinar qué información es más precisa o está actualizada.
•
Qué hacen los tokens de reflexión: el modelo SELF-RAG utiliza “tokens de reflexión” para evaluar la calidad de las respuestas que genera. Por ejemplo, podría generar una respuesta como "El plato más popular del menú de este restaurante es el bistec. (Fuente: Restaurant Review, octubre de 2023)". Aquí, "Fuente: Restaurant Review, octubre de 2023" es información agregada por Reflection Token.
Información sobre alergias: cuando un cliente pregunta: "¿Este menú contiene nueces?", el modelo SELF-RAG busca información sobre las alergias a las nueces y dice: "Si tiene alergias, tenga cuidado". Información del menú del restaurante)". En este caso también, Reflection Token genera la “Fuente: información del menú del restaurante”.
Información sobre alergias: cuando un cliente pregunta: "¿Este menú contiene nueces?", el modelo SELF-RAG busca información sobre las alergias a las nueces y dice: "Si tiene alergias, tenga cuidado". Información del menú del restaurante)". En este caso también, Reflection Token genera la “Fuente: información del menú del restaurante”.
Entendiendo con un ejemplo de restaurante
•
Proporcionar información precisa: cuando SELF-RAG recomienda elementos de menú populares, hace referencia a múltiples revisiones y datos y evalúa la confiabilidad de la información a través de "fichas de reflexión". Por ejemplo, puede ignorar reseñas más antiguas o con calificaciones más bajas y recomendar elementos del menú basados en reseñas más nuevas y con calificaciones más altas.
•
Respuesta contextual: cuando un cliente dice que es vegetariano, SELF-RAG puede reflejar esta información y recomendar solo elementos del menú vegetariano, e incluso proporcionar la fuente en la que se basa la recomendación.
Indicadores de desempeño
SELF-RAG muestra un rendimiento que supera el RAG existente y otros modelos de lenguaje en varios indicadores de rendimiento. En particular, mostró excelentes resultados en el conjunto de datos de control de calidad de dominio abierto y en el conjunto de datos de control de calidad de formato largo (ASQA).
Subscribe to 'haebom'
📚 Bienvenido al archivo de Haebom.
---
Publico artículos relacionados con TI 💻, economía 💰 y humanidades 🎭.
Si tiene curiosidad acerca de mis pensamientos, perspectivas o intereses, suscríbase.
haebom@kakao.com
---
Publico artículos relacionados con TI 💻, economía 💰 y humanidades 🎭.
Si tiene curiosidad acerca de mis pensamientos, perspectivas o intereses, suscríbase.
haebom@kakao.com