본 논문은 현재 AI 에이전트가 새로운 과제나 미지의 어휘에 직면했을 때 보이는 심각한 실패, 즉 절차적 기억 시스템의 핵심적인 한계를 지적합니다. 이를 해결하기 위해, 객체 인스턴스에 따라 기능적으로 동일한 절차를 인식할 수 있는지 평가하는 벤치마크를 제시합니다. ALFWorld를 사용하여 전문가 및 LLM(대규모 언어 모델) 생성 궤적의 이중 코퍼스를 구성하고, 체계적으로 계층화된 쿼리를 사용하여 여섯 가지 검색 방법을 평가합니다. 결과적으로, 임베딩 기반 방법은 익숙한 컨텍스트에서는 강력한 성능을 보이지만 새로운 컨텍스트에서는 크게 저하되는 반면, LLM 생성 절차적 추상화는 안정적인 교차 컨텍스트 전송을 보였습니다. 제어된 제거 실험을 통해 임베딩이 일부 어휘 수준의 추상화를 캡처하지만 근본적으로 절차를 순서가 없는 단어 묶음으로 취급하여 교차 컨텍스트 전송에 필요한 시간적 구조를 버린다는 것을 보여주었습니다. 코퍼스 규모가 표현력 향상보다 훨씬 더 큰 이점을 제공하며, 현재 인코더의 아키텍처적 한계를 드러냅니다. 본 벤치마크는 진정한 절차적 이해와 표면적인 암기를 구분하는 최초의 진단 프레임워크를 제공하고, 신뢰할 수 있는 일반화가 가능한 검색 시스템 개발을 위한 도구를 제공합니다.
