본 논문은 단일 입력 임베딩으로부터 자기회귀적 생성을 통해 수천 토큰에 이르는 긴 텍스트를 재구성할 수 있다는 최근 연구 결과를 바탕으로, 자기회귀 없이도 이러한 재구성이 가능한지 여부를 탐구합니다. 연구 결과, 동결된 거대 언어 모델(LLM)이 두 개의 학습된 임베딩만으로 단일 순전파 과정에서 수백 개의 정확한 토큰을 생성할 수 있음을 보여줍니다. 이는 반복적 디코딩 없이 다중 토큰 생성이라는 거대 언어 모델의 놀랍고 미개척된 능력을 보여줍니다. 본 논문에서는 이러한 임베딩의 동작을 조사하고, 그들이 인코딩하는 정보의 유형에 대한 통찰력을 제공합니다. 또한, 이러한 표현이 주어진 텍스트에 대해 고유하지는 않지만 임베딩 공간에서 연결되고 국소적인 영역을 형성한다는 것을 실험적으로 보여주며, 이는 해당 공간으로 특수한 인코더를 학습할 가능성을 시사합니다.
