본 논문은 지식 집약적 과제(예: 질문 응답, 사실 확인)에서 외부 지식 통합의 중요성을 강조하며, 언어 모델(LM)이 쓸모없는 정보에 주의가 흐트러지거나 오래된 매개변수 메모리와 상반되는 관련 정보를 무시할 수 있다는 점을 지적합니다. 기존의 맥락 활용 조작 기법(CMT)들이 이러한 문제를 완화하기 위해 제안되었지만, 체계적인 비교는 부족했습니다. 따라서 본 논문에서는 검색 증강 생성(RAG) 분야 실무자들이 다양한 맥락 조건 하에서 CMT를 진단할 수 있도록 설계된 첫 번째 종합적인 벤치마크인 CUB(Context Utilisation Benchmark)를 개발했습니다. CUB를 사용하여 세 가지 다양한 데이터셋과 과제에서 7가지 최첨단 방법(CMT의 주요 범주를 대표)을 9가지 LM에 적용하여 지금까지 가장 광범위한 평가를 수행했습니다. 연구 결과, 대부분의 기존 CMT는 실제 검색 증강 시나리오에서 발생하는 다양한 맥락 유형을 처리하는 데 어려움을 겪는다는 것을 보여줍니다. 또한 많은 CMT가 자연 발생 샘플이 포함된 현실적인 데이터셋과 비교하여 단순한 합성 데이터셋에서 과장된 성능을 보이는 것을 발견했습니다. 결론적으로, 본 연구는 현재 CMT 평가 관행의 심각한 결함을 드러내고, 다양한 맥락 유형을 견고하게 처리할 수 있는 CMT 개발 및 전체적인 테스트의 필요성을 강조합니다.
