Cognitive Maps in Language Models: A Mechanistic Analysis of Spatial Planning
Created by
Haebom
Category
Empty
저자
Caroline Baumgartner, Eleanor Spens, Neil Burgess, Petru Manescu
개요
GPT-2 모델을 3가지 공간 학습 패러다임(수동 탐색, 목표 지향 계획, 탐색 데이터를 사용한 하이브리드 모델)에 적용하여, 대규모 언어 모델이 공간 탐색 문제를 해결하는 방식을 연구. 행동, 표현, 메커니즘 분석을 통해 두 가지 근본적으로 다른 학습 알고리즘을 발견. 수동 탐색 모델은 '인지 지도'와 유사한 공간의 강력한 표현을 개발하는 반면, 목표 지향 모델은 경로 의존적 알고리즘을 학습.
시사점, 한계점
•
수동 탐색 모델은 공간 정보를 독립적인 좌표계로 통합하고, 짧은 컨텍스트에는 저수준 휴리스틱을, 긴 컨텍스트에는 지도 기반 추론을 사용하는 적응형 계층적 추론 시스템을 채택.
•
목표 지향 모델은 모든 레이어에서 명시적인 방향 입력을 지속적으로 의존하는 경로 의존적 전략을 학습.
•
하이브리드 모델은 일반화 성능이 향상되었음에도 불구하고, 동일한 경로 의존적 전략을 유지.
•
변압기 내 공간 지능은 탐색 데이터로 형성된 일반화 가능한 세계 모델과 목표 지향 작업에 최적화된 휴리스틱 사이의 스펙트럼에 존재.
