전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다. 본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다. 논문에 대한 저작권은 저자 및 해당 기관에 있으며, 요약본 공유 시 출처만 명기하면 됩니다. This service is supported by Google Gemini.
Nexus-Gen은 단일 프레임워크를 통해 다중 모달 이해 및 생성 능력을 통합하는 통합 다중 모달 대규모 언어 모델(MLLM)입니다. 기존 오픈소스 통합 모델들이 특정 도메인 아키텍처에 비해 성능 차이를 보이는 문제를 해결하기 위해, LLM의 언어 추론 능력과 확산 모델의 이미지 합성 능력을 결합했습니다. LLM과 확산 모델의 임베딩 공간을 정렬하기 위해 이중 단계 정렬 훈련 과정을 거쳤습니다. 첫 번째 단계는 자기회귀 LLM이 다중 모달 입력을 조건으로 이미지 임베딩을 예측하도록 훈련하고, 두 번째 단계는 비전 디코더가 이러한 임베딩에서 고충실도 이미지를 재구성하도록 훈련합니다. 자기회귀 방식의 훈련 및 추론 단계 간의 차이점을 해결하기 위해, 연속 임베딩 대신 위치 임베딩된 특수 토큰으로 입력 시퀀스를 미리 채우는 전략을 도입했습니다. 이를 통해 이미지 이해, 생성 및 편집 작업을 포괄적으로 처리하는 통합 기능을 개발했습니다. 모든 모델, 데이터셋 및 코드는 https://github.com/modelscope/Nexus-Gen.git 에서 공개되었습니다.
