AIC CTU@FEVER 8: On-premise fact checking through long context RAG
Created by
Haebom
저자
Herbert Ullrich, Jan Drchal
개요
본 논문은 FEVER 8 공유 과제에서 1위를 차지한 사실 확인 파이프라인을 제시한다. 작년 제출물을 기반으로 한 간단한 두 단계 RAG(Retrieval-Augmented Generation) 파이프라인으로, 단일 NVIDIA A10 GPU, 23GB의 그래픽 메모리, 그리고 주장당 60초의 실행 시간 제약 하에서도 최첨단 사실 확인 성능(Ev2R 테스트 점수 기준)을 달성하는 온프레미스 재배포 방법을 보여준다.
시사점, 한계점
•
시사점: 제한된 자원 환경에서도 최첨단 사실 확인 성능을 달성할 수 있는 효율적인 RAG 파이프라인을 제시함. 온프레미스 배포 가능성을 보여줌으로써 실제 환경 적용 가능성을 높임.
•
한계점: 파이프라인의 구체적인 구조 및 알고리즘에 대한 상세한 설명이 부족함. 단일 GPU 환경에 국한된 결과로, 더욱 확장된 환경에서의 성능은 불확실함. Ev2R 테스트 점수 이외의 다른 평가 지표에 대한 결과가 제시되지 않음.
