본 논문은 자원 제약 환경에서 시각 및 텍스트 데이터의 효율적인 처리를 가능하게 하는 소형 비전-언어 모델(sVLM)의 등장에 대해 논의합니다. 트랜스포머 기반, 맘바 기반, 하이브리드 등 다양한 sVLM 아키텍처를 제시하고, 지식 증류, 경량화된 어텐션 메커니즘, 모달리티 사전 융합과 같은 기술을 통해 제한된 자원으로 높은 성능을 달성하는 방법을 논의합니다. TinyGPT-V, MiniGPT-4, VL-Mamba와 같은 모델을 심층 분석하여 정확도, 효율성, 확장성 간의 상충 관계를 파악하고, 데이터 편향 및 복잡한 작업에 대한 일반화와 같은 지속적인 과제와 이를 해결하기 위한 방안을 제시합니다. 결론적으로, 본 논문은 sVLM의 발전을 종합적으로 분석하여 접근 가능한 AI를 위한 혁신적인 잠재력을 강조하고, 효율적인 다중 모달 시스템에 대한 미래 연구의 기반을 마련합니다.
