본 논문은 Retrieval Augmented Generation (RAG)의 한계점을 다룹니다. RAG는 외부 지식을 활용하여 LLM의 한계를 극복하지만, 부정확한 검색 결과로 인해 무관한, 오해의 소지가 있는, 또는 악의적인 정보가 포함될 수 있습니다. 기존 연구는 부정확한 검색으로 인한 오류 전파 및 LLM의 내부 지식과 외부 소스 간의 잠재적 충돌에 대한 공동 분석을 통해 RAG의 동작을 연결하는 데 거의 초점을 맞추지 않았습니다. 본 논문은 현실적인 조건 하에서 포괄적이고 통제된 분석을 통해 부정확한 검색 증강이 불가피하고 일반적이며 해롭다는 것을 발견했습니다. LLM 내부 지식과 외부 지식 간의 지식 충돌을 RAG의 사후 검색 단계에서 부정확한 검색을 극복하기 위한 병목 현상으로 확인했습니다. 이를 해결하기 위해, 본 논문은 부정확한 검색 증강에 탄력적으로 대응하도록 설계된 새로운 RAG 접근 방식인 Astute RAG를 제안합니다. Astute RAG는 LLM의 내부 지식에서 필수 정보를 적응적으로 유도하고, 소스 인식을 통해 내부 및 외부 지식을 반복적으로 통합하며, 정보 신뢰성에 따라 답변을 최종화합니다. Gemini와 Claude를 사용한 실험 결과, Astute RAG는 기존의 강건성 향상 RAG 접근 방식보다 우수한 성능을 보였습니다. 특히, Astute RAG는 최악의 시나리오에서도 기존 LLM 사용과 비슷하거나 더 나은 성능을 달성한 유일한 RAG 방법입니다. 추가 분석을 통해 Astute RAG가 지식 충돌을 해결하고 RAG의 신뢰성을 향상시키는 효과를 확인했습니다.
