OneLatent: Single-Token Compression for Visual Latent Reasoning

Created by

Haebom

저자

Bo Lv, Yasheng Sun, Junjie Wang, Haoxiang Shi

💡 개요

본 논문은 Chain-of-thought (CoT) 추론 시 발생하는 막대한 추론 비용 문제를 해결하기 위해, 중간 추론 과정을 단일 잠재 토큰으로 압축하는 OneLatent 프레임워크를 제안합니다. 텍스트 기반 추론 단계를 이미지로 렌더링하고 DeepSeek-OCR의 은닉 상태를 활용하여 결정론적 감독 신호를 얻음으로써, 모델이 상세한 텍스트를 출력하지 않고도 감독이 가능하게 합니다. 이를 통해 OneLatent는 평균 출력 길이를 $11\times$ 줄이면서 정확도는 $2.21$ 정도만 감소시키고, 출력 토큰 기여도를 $6.8\times$ 향상시켰습니다.

🔑 시사점 및 한계

•

CoT 추론의 효율성을 획기적으로 개선하여 실제 적용 가능성을 높였습니다.

•

텍스트를 이미지로 렌더링하는 방식을 통해 추론 과정을 시각적으로 검증하고 감사할 수 있는 새로운 방법을 제시합니다.

•

장기적인 논리 추론 과제에서 단일 잠재 토큰만으로도 높은 성능을 달성하며 압축된 환경에서도 일반화 능력이 우수함을 입증했습니다.

•

텍스트를 이미지로 렌더링하는 과정 자체의 계산 비용 및 정확도 손실 가능성에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage