BREEN은 기존의 비전 인코더가 필요 없는 데이터 효율적인 인코더 없는 다중 모달 대규모 언어 모델(MLLM) 아키텍처입니다. 기존의 인코더 없는 MLLM은 효과적인 시각적 지식 획득을 위해 방대한 양의 훈련 데이터를 필요로 하는 반면, BREEN은 학습 가능한 쿼리와 이미지 전문가를 활용하여 적은 훈련 데이터로도 비슷한 성능을 달성합니다. 학습 가능한 쿼리는 사전 훈련된 CLIP 모델의 출력으로 감독되어 시각 및 텍스트 모달리티 간의 간극을 메우고, 이미지 전문가는 이미지 토큰과 학습 가능한 쿼리를 독립적으로 처리하여 효율성을 높이고 LLM의 텍스트 기능에 대한 간섭을 줄입니다. BREEN은 기존 방법 대비 약 1% 수준인 1300만 개의 텍스트-이미지 쌍으로 기존 최첨단 인코더 없는 모델들과 유사한 성능을 달성합니다.
