본 논문은 다중 모달 대규모 언어 모델(MLLM)에서 다양한 시각적 작업 도메인을 효율적으로 처리하기 위한 새로운 아키텍처인 Mixpert를 제안합니다. Mixpert는 단일 비전 인코더의 장점을 유지하면서 여러 도메인 특화 비전 전문가(expert)로 구성된 혼합 모델 구조를 통해 작업별 미세 조정을 가능하게 합니다. 또한, 입력 이미지를 가장 적합한 비전 전문가에게 동적으로 할당하는 라우팅 메커니즘을 설계하여 도메인 간 충돌을 완화하고 계산 비용을 최소화합니다. 실험 결과는 다양한 작업에서 상당한 성능 향상을 보여줍니다.
시사점, 한계점
•
시사점:
◦
단일 비전 인코더의 한계를 극복하고 다양한 시각적 작업에 효율적으로 대응하는 새로운 MLLM 아키텍처 제시
