본 논문은 혼합 전문가(MoE) 기반의 비전-언어 모델(VLMs)의 과제 불균형 문제를 해결하기 위해 새로운 다중 전문가 협업 VLM 아키텍처인 Astrea를 제안합니다. Astrea는 탐지, 분할, 분류, 캡션 생성 네 가지 전문 모델을 통합하는 이종 전문가 조정 메커니즘, 전문가들을 조화시키는 점진적 사전 정렬 기반의 동적 지식 융합 전략, 그리고 모멘텀 대조 학습과 적응형 가중치 할당기를 활용한 최적화 프레임워크를 통해 기존 모델들의 성능을 능가합니다. 12개의 벤치마크 과제에 대한 광범위한 평가 결과, Astrea는 최첨단 모델보다 평균 4.7% 향상된 성능을 달성했습니다. 본 연구는 점진적 사전 정렬 전략이 과제 이질성의 한계를 극복하는 데 기여함을 실증적으로 보여주는 최초의 연구입니다.
시사점, 한계점
•
시사점:
◦
점진적 사전 정렬 전략을 통해 MoE 기반 VLM의 과제 이질성 문제를 효과적으로 해결할 수 있음을 보여줌.
◦
다양한 비전 관련 전문가들을 효율적으로 통합하고 협업할 수 있는 새로운 아키텍처를 제시함.
◦
12개의 다양한 벤치마크 과제에서 SOTA 성능을 달성하여 모델의 우수성을 입증함.
◦
일반 목적의 다중 모달 에이전트 개발을 위한 새로운 방법론적 기반을 마련함.
•
한계점:
◦
Astrea의 복잡성이 높아 계산 비용이 증가할 수 있음.
◦
특정 유형의 과제에 대한 성능 향상이 다른 유형의 과제에 대한 성능 저하로 이어질 가능성이 있음. (모든 과제에서 일관된 성능 향상을 보장할 수 없음).
