본 논문은 도구를 활용하는 언어 모델(예: 외부 검색, 메모리, API)의 이점을 이론적으로 탐구합니다. 특히, 사실적 정보의 재현 측면에서 가중치 학습(암기)보다 도구 학습(외부 검색)의 우수성을 증명합니다. 모델의 파라미터 수는 암기 가능한 사실의 수를 근본적으로 제한하지만, 도구 사용은 간단하고 효율적인 회로 구성을 통해 무한한 사실 재현을 가능하게 함을 보여줍니다. 통제된 실험을 통해 도구 사용 모델이 암기 모델보다 성능이 우수함을 검증하고, 사전 훈련된 대규모 언어 모델에서 사실을 암기하는 것보다 도구 사용 및 일반 규칙을 가르치는 것이 더 효과적임을 보여줍니다. 결론적으로, 도구 기반 워크플로우가 실용적일 뿐만 아니라 확장성 측면에서도 이론적으로 더 우수함을 이론적, 실험적 근거를 통해 제시합니다.
