대규모 언어 모델(LLM)이 문맥 학습을 통해 새로운 작업을 수행하는 능력에 대한 연구. 본 논문은 off-by-one 덧셈(1+1=3, 2+2=5, 3+3=?)을 통해 LLM 내부의 일반화 메커니즘을 탐구한다. 회로 스타일 해석 기법을 활용하여 모델의 내부 계산을 분석하고, 모델이 표준 덧셈에서 off-by-one 덧셈으로 일반화되는 원리를 밝혀냈다. 특히, +1 함수 유도 메커니즘과 병렬적인 여러 어텐션 헤드를 통한 +1 함수 생성, 그리고 이 메커니즘의 다양한 작업(예: 시프트된 객관식 QA, 8진법 덧셈) 재사용을 발견했다.
