TTE-Flash: Accelerating Reasoning-based Multimodal Representations via Think-Then-Embed Tokens

작성자

Haebom

카테고리

Empty

저자

Jianpeng Cheng, Xian Wu, Jiangfan Zhang, Wentao Bao, Chaitanya Ahuja, Shlok Kumar Mishra, Hanchao Yu, Yang Gao, Fan Xia, Qi Guo, Shaodan Zhai, Xiangjun Fan, Jun Xiao

💡 개요

본 논문은 멀티모달 추론 시 발생하는 높은 계산 비용 문제를 해결하기 위해 기존의 명시적 생각 과정(Chain-of-Thought, CoT)을 잠재적 '생각 토큰'으로 대체하는 TTE-Flash 방법을 제안합니다. 잠재적 생각 토큰을 CoT 생성 손실로 최적화하고 임베딩 토큰을 대조 학습 손실로 최적화함으로써, 추론 시 일정한 비용으로 고성능의 추론 기반 멀티모달 표현을 생성할 수 있습니다.

🔑 시사점 및 한계

•

기존 CoT 기반 멀티모달 임베딩의 높은 계산 비용 문제를 해결하는 효율적인 대안을 제시합니다.

•

잠재적 생각 토큰을 통해 텍스트 및 시각적으로 해석 가능한 추론 기반 멀티모달 표현 모델(TTE-Flash-2B)을 개발하여 성능을 입증했습니다.

•

생각 토큰 개수 증가에 따른 확장성을 확인하고, 작업 요구사항에 따라 생각 토큰 예산을 동적으로 할당하는 방안에 대한 초기 연구를 제시합니다.

•

잠재적 생각 토큰의 생성 및 학습 방식에 대한 추가적인 연구와 더 다양한 멀티모달 태스크에서의 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage