ARMOR은 기존의 다중 모달 대규모 언어 모델(MLLM)을 미세 조정하여 이해와 생성 모두를 달성하는 자원 효율적인 순수 자기회귀 프레임워크입니다. 비대칭 인코더-디코더 구조와 전환 메커니즘을 도입하여 텍스트와 이미지 모달리티를 통합하는 임베딩 공간을 만들고, 최소한의 계산 자원으로 자연스러운 텍스트-이미지 혼합 생성을 가능하게 합니다. 정교하게 구성된 고품질의 혼합 데이터셋을 사용하여 MLLM을 미세 조정하고, "무엇을 어떻게 생성할지" 알고리즘을 통해 기존 MLLM의 다중 모달 생성 능력을 향상시키면서 이해 능력은 유지합니다. 제한된 학습 자원을 사용하여 기존 MLLM을 유망한 이미지 생성 기능을 갖춘 UniM으로 업그레이드합니다.
시사점, 한계점
•
시사점:
◦
제한된 자원으로 기존 MLLM을 다중 모달 이해 및 생성 기능을 갖춘 UniM으로 효율적으로 업그레이드할 수 있는 방법을 제시합니다.
◦
비대칭 인코더-디코더 구조와 전환 메커니즘을 통해 자연스러운 텍스트-이미지 혼합 생성을 가능하게 합니다.
◦
"무엇을 어떻게 생성할지" 알고리즘을 통해 기존 MLLM의 성능을 효과적으로 향상시킵니다.
