본 논문은 오픈 도메인 질의응답(QA)에서 대규모 언어 모델(LLM)의 컨텍스트 제한 문제를 해결하는 검색 증강 생성(RAG)과 장문맥스트 언어 모델(LCLM)에 대해 다룹니다. 최적의 외부 컨텍스트 검색은 여전히 해결되지 않은 문제이며, 고정된 검색 크기는 토큰 낭비 또는 중요한 증거 누락의 위험이 있습니다. 기존의 적응형 방법(Self-RAG, Self-Route)은 반복적인 LLM 프롬프트에 의존하며 사실형 QA에서는 잘 작동하지만, 최적의 컨텍스트 크기가 알 수 없고 가변적인 집계 QA에서는 어려움을 겪습니다. 본 논문에서는 질의와 후보 구절 간 유사도 점수 분포에 따라 구절 수를 적응적으로 선택하는 단순하고 효과적인 단일 패스 방법인 Adaptive-$k$ retrieval을 제시합니다. 모델 미세 조정, 추가 LLM 추론 또는 기존 검색기-판독기 파이프라인 변경이 필요하지 않습니다. 사실형 및 집계 QA 벤치마크에서 Adaptive-$k$는 전체 컨텍스트 입력보다 최대 10배 적은 토큰을 사용하면서도 관련 구절의 70%를 검색하며, 고정된 $k$ 기준선과 동등하거나 능가하는 성능을 보입니다. 다섯 가지 LCLM과 두 가지 임베딩 모델에서 정확도가 향상되어 컨텍스트 크기를 동적으로 조정하면 더 효율적이고 정확한 QA가 가능함을 강조합니다.
