Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models

Created by

Haebom

저자

Ruihan Xu, Yuting Gao, Lan Wang, Jianing Li, Weihao Chen, Qingpei Guo, Ming Yang, Shiliang Zhang

💡 개요

본 연구는 대규모 멀티모달 모델(LMM)의 파라미터 활용도를 높이고자, 모델 크기 증가 없이 파라미터를 재사용하여 멀티모달 표현을 강화하는 재귀적 강화 기법을 제안합니다. 이를 위해 제안된 RecursiveVLM은 재귀 단계 간 특징 정렬을 위한 Recursive Connector와 성능 향상을 보장하는 Monotonic Recursion Loss를 도입하여, 연산 자원이 제한된 환경에서는 적은 반복으로, 그렇지 않은 환경에서는 점진적으로 성능을 향상시키는 온디맨드 강화 메커니즘을 구현합니다. 실험 결과, 표준 트랜스포머 대비 3%p, 기존 재귀 모델 대비 7%p의 일관된 성능 향상을 보여주며 효율적이고 배포 환경에 적응 가능한 LMM 개발 가능성을 제시합니다.

🔑 시사점 및 한계

•

재귀적 파라미터 재사용을 통해 모델 크기 증가 없이 LMM의 효율성과 성능을 향상시킬 수 있음을 입증했습니다.

•

온디맨드 강화 메커니즘은 다양한 컴퓨팅 자원 환경에 LMM을 유연하게 적용할 수 있는 가능성을 제시합니다.

•

재귀 깊이에 따른 성능 향상의 엄격한 보장이 실제 복잡한 멀티모달 태스크에서 얼마나 효과적일지에 대한 추가적인 탐색이 필요합니다.

PDF 보기

Made with Slashpage