Yu Bai, Yukai Miao, Dawei Wang, Li Chen, Fei Long, Rundi Zhai, Dan Li, Yanyu Ren, Tianfeng Liu, Hongtao Xie, Ce Yang, Xuhui Cai
개요
동적 메모리 정렬(DMA)은 RAG 시스템에서 정적 검색의 한계를 극복하기 위해 제안된 온라인 학습 프레임워크입니다. DMA는 다중 입자 인간 피드백을 체계적으로 통합하여 상호 작용 환경에서 순위를 정렬합니다. 문서, 목록 및 응답 수준 신호를 활용하여 지도 학습, 정책 최적화, 지식 증류를 포함하는 일관된 학습 파이프라인을 구축합니다. DMA는 대규모 온라인 A/B 테스트와 지식 집약적 벤치마크에 대한 소수 샷 오프라인 테스트를 통해 평가되었습니다.
시사점, 한계점
•
온라인 A/B 테스트를 통해 각 피드백 소스의 효용성을 파악했습니다.
•
산업 환경에서의 다중 달 온라인 배포를 통해 인간 참여가 크게 개선되었습니다.
•
대화형 QA 벤치마크에서 상당한 이점을 보였습니다. (TriviaQA, HotpotQA)
•
기존 검색 기능을 유지하면서 피드백 기반 실시간 적응을 위한 원칙적인 접근 방식을 제시합니다.
