본 논문은 대규모 언어 모델(LLM)의 정보 검색이 단순 검색이 아닌 생성 능력과 밀접하게 연관되어 있음을 다룹니다. 긴 문맥이 검색 성능을 향상시킨다는 일반적인 믿음과 달리, 문맥 내 간섭의 영향은 아직 충분히 연구되지 않았습니다. 연구진은 인지과학의 사전 간섭(PI) 패러다임을 LLM에 적용하여, 이전 정보가 새로운 정보의 회상을 방해하는 현상을 분석했습니다. 인간의 경우, 이러한 간섭에 대한 취약성은 작업 기억 용량과 반비례합니다. PI-LLM이라는 평가 방법을 통해, 의미적으로 관련된 키-값 업데이트를 순차적으로 제공하고 마지막 값만 질의하는 실험을 수행했습니다. 결과적으로, 마지막 값이 질의 바로 앞에 위치해 있음에도 불구하고, 간섭이 누적됨에 따라 LLM의 검색 정확도는 로그 선형적으로 0에 가까워졌습니다. 오류는 이전에 덮어쓴 값을 검색하는 것에서 비롯되었습니다. 프롬프트 엔지니어링을 통해 간섭을 완화하려는 시도(예: 모델에게 이전 입력을 무시하도록 지시)는 제한적인 성공만 거두었습니다. 이러한 결과는 LLM이 간섭을 분리하고 정보를 유연하게 조작하는 능력에 근본적인 제약이 있음을 보여주며, 단순한 문맥 접근 이상의 작업 기억 병목 현상을 시사합니다. 따라서 검색 중 무관한 콘텐츠를 억제하는 모델의 능력을 강화하는 접근 방식이 필요합니다.
