MM-LIMA: Less Is More for Alignment in Multi-Modal Datasets

Created by

Haebom

저자

Lai Wei, Xiaozhe Li, Zihao Jiang, Weiran Huang, Lichao Sun

💡 개요

본 논문은 다중 모달 대규모 언어 모델(LLM)의 튜닝 과정에서 고품질의 적은 양의 데이터가 중요하다는 점을 강조하며, MiniGPT-4에 사용된 데이터의 6%에 불과한 200개의 예시로 튜닝된 MM-LIMA를 제안합니다. 연구진은 다중 모달 데이터의 품질을 평가하는 지표를 개발하고, 이를 기반으로 저품질 데이터를 필터링하는 자동 데이터 선택기를 제시하여 MM-LIMA가 MiniGPT-4보다 우수한 성능을 달성했음을 보여줍니다. 이는 적은 양이라도 고품질의 지도 학습 데이터가 다중 모달 LLM의 성능 향상에 효율적임을 입증합니다.

🔑 시사점 및 한계

•

고품질의 소량 지도 학습 데이터가 다중 모달 LLM의 성능을 크게 향상시킬 수 있습니다.

•

자동화된 데이터 품질 평가 및 필터링 메커니즘은 모델 튜닝 효율성을 높이는 데 중요합니다.

•

제안된 데이터 선택기의 일반화 성능 및 다양한 다중 모달 LLM 아키텍처에 대한 적용 가능성에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage