FreshStack은 코드 및 기술 문서에서 질문과 답변을 활용하여 정보 검색(IR) 평가 벤치마크를 자동으로 구축하는 홀리스틱 프레임워크입니다. FreshStack은 (1) 코드 및 기술 문서에서 자동으로 코퍼스를 수집하고, (2) 커뮤니티에서 질문과 답변으로부터 정보 단위(nugget)를 생성하고, (3) 다양한 검색 기법과 하이브리드 아키텍처를 사용하여 정보 단위 수준의 지원(문서 검색)을 제공합니다. 빠르게 성장하는 최신 틈새 주제에 대한 5개의 데이터셋을 구축하여 과제의 난이도를 높였습니다. 기존 검색 모델은 FreshStack에서 즉시 적용 시 모든 5개 주제에서 오라클 접근 방식보다 성능이 현저히 떨어져 IR 품질 향상의 여지가 많음을 보여줍니다. 또한, 재순위 지정(reranker)이 1단계 검색 정확도를 향상시키지 못하는 경우(5개 주제 중 2개)와 오라클 컨텍스트가 LLM 생성기를 이용한 고품질 RAG 답변 생성에 도움이 되는 경우를 확인했습니다. FreshStack은 현실적이고 확장 가능하며 오염되지 않은 IR 및 RAG 평가 벤치마크 구축을 위한 향후 연구에 기여할 것으로 기대됩니다.
