본 논문은 다중 토큰 예측(multi-token prediction)을 개선하여 언어 모델 사전 학습의 효율성을 높이는 새로운 방법인 MuToR을 제안합니다. MuToR은 학습 가능한 레지스터 토큰을 입력 시퀀스에 삽입하여 각 토큰이 미래의 타겟을 예측하도록 하는 간단하면서도 효과적인 접근 방식입니다. 기존 방법과 비교하여 추가 매개변수가 거의 없고, 모델 구조 변경이 필요 없으며, 다음 토큰 사전 학습 목표와도 잘 맞는다는 장점이 있습니다. 또한, 확장 가능한 예측 범위를 자연스럽게 지원합니다. 다양한 활용 사례(지도 학습 파인튜닝, 매개변수 효율적인 파인튜닝(PEFT), 사전 학습)와 언어 및 비전 영역의 생성적 과제에서 MuToR의 효과와 다양성을 보여줍니다.
