본 논문은 대규모 언어 모델의 성능 향상을 위한 새로운 학습 프레임워크인 Transformer Copilot을 제안합니다. 기존의 지도 학습 방식과 달리, 모델의 학습 과정에서 발생하는 오류를 체계적으로 기록하고(Mistake Log), 이를 활용하여 모델의 추론 성능을 개선하는 방식입니다. Pilot 모델(기존 Transformer 모델)과 Copilot 모델을 함께 학습시키는 방식으로, Copilot 모델은 Mistake Log를 통해 Pilot 모델의 오류를 수정하는 역할을 수행합니다. Copilot 모델은 Pilot 모델의 logits를 수정하여 생성 성능을 향상시키며, 12개의 벤치마크 실험 결과 최대 34.5%의 성능 향상을 보였습니다. 계산 비용 증가는 미미하며, 확장성과 전이 학습 성능 또한 우수함을 보였습니다.
