본 연구는 자기회귀 디코딩 없이, 단 두 개의 학습된 임베딩만으로 사전 학습된 LLM이 수백 개의 정확한 토큰을 생성할 수 있음을 보였다. 이는 자기회귀 디코딩이 필수적이지 않음을 보여주며, LLM의 다중 토큰 생성 능력에 대한 새로운 통찰을 제공한다. 연구는 이 임베딩들의 특성을 분석하고, 임베딩 공간 내에서 연결되고 지역적인 특성을 보임을 밝혀 실용적인 인코더 학습 가능성을 제시한다. 이러한 결과는 재학습 없이 학습된 LLM을 재사용하여 다중 토큰 생성을 가능하게 하고, 자기회귀 디코딩의 병목 현상을 극복할 수 있는 가능성을 시사한다.
