SPHINX-X는 SPHINX를 기반으로 개발된 대규모 다중 모달 언어 모델(MLLM) 시리즈입니다. 기존 SPHINX 프레임워크를 개선하여 중복된 비주얼 인코더 제거, 스킵 토큰을 이용한 완전 패딩된 하위 이미지 우회, 다단계 훈련을 일괄 훈련으로 단순화했습니다. 공개적으로 이용 가능한 언어, 비전, 비전-언어 작업 관련 리소스를 포함하는 포괄적인 다중 도메인 및 다중 모달 데이터셋을 구성하여 MLLM의 잠재력을 최대한 활용하고, OCR 집약적 데이터셋과 Set-of-Mark 데이터셋을 추가하여 다양성과 일반성을 확장했습니다. TinyLlama1.1B, InternLM2-7B, LLaMA2-13B, Mixtral8x7B 등 다양한 기본 LLM을 사용하여 매개변수 크기와 다국어 기능이 다른 MLLM 스펙트럼을 얻었습니다. 포괄적인 벤치마킹 결과, 다중 모달 성능과 데이터 및 매개변수 규모 간의 강력한 상관관계를 보였습니다. 코드와 모델은 https://github.com/Alpha-VLLM/LLaMA2-Accessory 에서 공개됩니다.
