본 논문은 표준 다음 토큰 예측 방식을 개선한 경량 방식인 Joint Multi-Token Prediction (JTP)을 소개한다. JTP는 미래의 여러 토큰을 공동으로 예측하여 은닉 상태 표현을 풍부하게 만든다. 기존의 다중 토큰 예측 방식과 달리, JTP는 신중하게 설계된 표현 병목 현상을 통해 미래 토큰의 강제 학습(teacher forcing)을 전략적으로 사용하여 훈련 중에 최소한의 계산 오버헤드로 풍부한 예측 정보를 인코딩한다. 본 논문은 JTP 방식이 단기 예측 신뢰 상태 표현을 달성하는 반면, 기존의 다중 토큰 예측 방식은 그렇지 못함을 보여준다. Bachmann과 Nagarajan [2024]의 합성 별 그래프 탐색 작업에서 JTP의 효과를 보여주며, 기존 방식보다 성능이 크게 향상됨을 강조한다. 이 논문은 추가 연구를 자극하기 위한 유망한 예비 결과를 제시한다.
