Transformer Copilot은 대규모 언어 모델의 파인 튜닝 과정에서 모델 자체의 학습 신호를 활용하여 성능을 향상시키는 새로운 프레임워크입니다. Pilot 모델의 생성 손실을 최소화하는 기존 방식과 달리, 모델의 학습 행동과 반복적인 오류를 추적하는 Mistake Log를 도입하고, Pilot 모델의 로짓을 수정하여 추론 성능을 향상시키는 Copilot 모델을 설계합니다. Pilot-Copilot 프레임워크는 (i) 새로운 Copilot 모델 설계, (ii) Copilot이 Pilot과 함께 Mistake Log로부터 지속적으로 학습하는 공동 학습 패러다임, (iii) Copilot이 Pilot의 로짓을 수정하여 생성을 개선하는 융합 추론 패러다임을 포함합니다. 실험 결과, 다양한 벤치마크에서 최대 34.5%의 성능 향상을 보였으며, 적은 계산 비용으로 강력한 확장성과 이전성을 나타냈습니다.
