본 논문은 정보 검색 시스템의 효과를 평가하는 두 가지 척도인 관련성과 유용성에 초점을 맞추고, 제한된 입력 대역폭을 가진 대규모 언어 모델(LLM)을 사용하는 검색 증강 생성(RAG)에서 유용성이 높은 결과를 우선적으로 사용해야 함을 강조합니다. RAG의 세 가지 핵심 구성 요소(검색 모델에서 파생된 관련성 순위, 유용성 판단, 답변 생성)를 Schutz의 관련성 철학 체계와 연결하여, 각 구성 요소가 서로를 향상시키는 세 가지 인지 수준을 반영함을 보여줍니다. 이를 바탕으로, RAG의 각 단계를 개선하는 반복적인 유용성 판단 프레임워크(ITEM)를 제안하고, TREC DL, WebAP, GTI-NQ, NQ 데이터셋을 사용한 실험을 통해 ITEM이 기준 모델에 비해 유용성 판단, 순위 지정 및 답변 생성에서 상당한 개선을 보임을 실험적으로 증명합니다.
