[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

HoH: Un punto de referencia dinámico para evaluar el impacto de la información obsoleta en la generación aumentada por recuperación

Created by
  • Haebom

Autor

Jie Ouyang, Tingyue Pan, Mingyue Cheng, Ruiran Yan, Yucong Luo, Jiaying Lin, Qi Liu

Describir

Este documento presenta un nuevo punto de referencia, HoH, para evaluar el impacto de la información obsoleta en las bases de conocimiento en modelos de Generación Aumentada por Recuperación (RAG). Si bien los estudios anteriores se han centrado en la integración de información actualizada, el impacto de la coexistencia de información obsoleta en el rendimiento de RAG no se ha abordado suficientemente. HoH genera de manera eficiente un conjunto de datos de control de calidad a gran escala que captura con precisión los cambios de conocimiento temporal en hechos del mundo real aprovechando un algoritmo de diferencia a nivel de token y una canalización LLM. Los resultados experimentales muestran que la información obsoleta degrada el rendimiento de RAG de dos maneras: (1) disminuyendo la precisión (al distraer al modelo de la información correcta) y (2) generando salidas potencialmente peligrosas (a pesar de la presencia de información actualizada). Estos resultados resaltan la necesidad de soluciones innovadoras para abordar los desafíos temporales en RAG. El código y los datos están disponibles en https://github.com/0russwest0/HoH .

Takeaways, Limitations

•
Takeaways:
◦
Presentamos el primer benchmark HoH para evaluar sistemáticamente el impacto negativo de la información obsoleta en los sistemas RAG.
◦
Demostramos experimentalmente que la información obsoleta puede reducir la precisión de RAG e incluso provocar que produzca resultados dañinos.
◦
Tanto la etapa de recuperación como la de generación de RAG revelan dificultades en el procesamiento de información antigua.
◦
Presentando una nueva dirección de investigación para resolver los desafíos temporales de RAG.
•
Limitations:
◦
El punto de referencia HoH puede estar limitado a ciertos tipos de información obsoleta y modelos RAG.
◦
Puede que no refleje perfectamente las situaciones complejas del mundo real.
◦
Falta de una solución propuesta. El punto de referencia solo plantea el problema, pero no ofrece una solución.
👍
Made with Slashpage