M2-omni는 GPT-4o와 경쟁력 있는 성능을 달성한 최첨단 오픈소스 옴니-MLLM(다중 모달 대규모 언어 모델)입니다. 통합된 다중 모달 시퀀스 모델링 프레임워크를 사용하여 LLMs가 포괄적인 교차 모달 이해 및 생성 기능을 습득할 수 있도록 합니다. 오디오, 비디오, 이미지, 텍스트 모달리티의 임의 조합을 입력으로 처리하여 오디오, 이미지 또는 텍스트 출력이 혼합된 다중 모달 시퀀스를 생성하여 고급 상호 작용 실시간 경험을 가능하게 합니다. 모달리티 간 데이터 양과 수렴 속도의 상당한 차이로 인해 옴니-MLLM의 훈련이 어려운데, 이를 해결하기 위해 사전 훈련 중 단계 균형 전략과 지시 조정 단계에서 동적으로 적응적인 균형 전략을 제안합니다. 특히, 훈련 과정 전체에서 M2-omni의 언어 이해 능력의 강건성을 유지하기 위해 순수 텍스트 작업에 대한 강력한 성능을 유지하는 것을 우선시합니다. M2-omni는 포괄적인 모달리티 및 작업 지원과 뛰어난 성능을 특징으로 하며, 현재 GPT-4o에 필적하는 매우 경쟁력 있는 오픈소스 모델입니다.
