Rep2Text: Decoding Full Text from a Single LLM Token Representation

작성자

Haebom

카테고리

Empty

저자

Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

💡 개요

본 연구는 대규모 언어 모델(LLM)의 마지막 토큰 표현만으로 원래 입력 텍스트를 얼마나 복원할 수 있는지 탐구합니다. 이를 위해 마지막 토큰 표현을 디코딩 모델의 토큰 임베딩 공간으로 매핑하는 학습 가능한 어댑터를 사용하는 Rep2Text 프레임워크를 제안하며, 이를 통해 입력 텍스트를 자기회귀적으로 재구성합니다. 다양한 LLM 모델 조합에 대한 실험 결과, 16개 토큰 시퀀스의 약 절반이 정보 손실에도 불구하고 의미적 일관성을 유지하며 복원됨을 확인했습니다.

🔑 시사점 및 한계

•

LLM의 마지막 토큰 표현은 상당한 양의 의미 정보를 압축하고 있어, 이를 통해 입력 텍스트의 상당 부분을 복원할 수 있습니다.

•

텍스트 복원 시 토큰 수준의 정확도는 낮아지더라도 의미적 일관성은 비교적 잘 유지되는 정보 병목 현상이 관찰됩니다.

•

입력 텍스트 길이가 길어질수록 토큰 복원 능력은 감소하지만, 의미 정보 보존에는 덜 민감한 것으로 나타났습니다.

•

본 연구는 LLM의 내부 작동 방식에 대한 이해를 높이고, 압축된 표현을 활용한 다양한 응용 가능성을 제시하지만, 복원 정확도의 한계와 함께 확장성 효과가 제한적이라는 점은 향후 개선 과제입니다.

PDF 보기

Made with Slashpage