본 논문은 Retrieval-Augmented Generation (RAG)에서 지식의 시대적 낙후 문제에 대한 해결책으로, 지식 기반에 존재하는 낙후된 정보의 영향을 평가하기 위한 새로운 벤치마크 HoH를 제시합니다. HoH는 토큰 수준 차이 알고리즘과 LLM 파이프라인을 활용하여 실제 사실의 시간적 지식 변화를 정확하게 포착하는 대규모 QA 데이터셋을 효율적으로 생성합니다. 실험 결과, 낙후된 정보는 RAG 성능을 (1) 정확한 정보로부터 모델의 주의를 흩뜨려 응답 정확도를 떨어뜨리고, (2) 최신 정보가 있더라도 잠재적으로 해로운 출력을 생성하도록 모델을 오도하는 두 가지 중요한 방식으로 저하시키는 것으로 나타났습니다. 본 논문은 RAG에서 시간적 과제를 해결하기 위한 혁신적인 솔루션의 필요성을 강조하며, 코드와 데이터는 공개적으로 제공합니다.
