본 논문은 형식 언어로 사전 학습된 언어 모델이 자연어 학습 능력을 향상시키는지에 대한 연구를 진행했습니다. 언어학 및 복잡성 이론의 통찰을 바탕으로, 효과적인 전이 학습은 형식 언어가 자연어의 의존 구조를 포착하고 모델 아키텍처의 계산적 한계 내에 있어야 한다는 두 가지 조건을 충족할 때 발생한다는 가설을 세웠습니다. 트랜스포머 모델을 사용한 실험 결과, 계층적 의존성을 포착하는 형식 언어는 다른 형식 언어와 비교하여 자연어에 대한 손실을 줄이고 언어적 일반화 성능을 향상시키는 것으로 나타났습니다. 또한 형식 언어가 아키텍처의 계산적 한계 내에 있어야 한다는 가설에 대한 약간의 지지를 발견했습니다. 놀랍게도, 사전 학습은 동일한 양의 자연어 학습보다 손실을 더 효율적으로 줄였습니다. 약 16억 토큰의 자연어로 학습된 10억 파라미터 언어 모델의 경우, 사전 학습은 33% 적은 토큰으로 동일한 손실과 더 나은 언어적 일반화 성능을 달성했습니다. 마지막으로, 형식 언어에서 자연어로의 전이에 대한 기계적 증거를 제시했습니다. 사전 학습 중에 획득된 어텐션 헤드는 구문 평가에서 모델의 성능에 중요한 역할을 하는 것으로 나타났습니다.
