본 논문은 다중 모달 검색 증강 생성(MRAG)을 검토합니다. MRAG는 대규모 언어 모델(LLM)에 다중 모달 데이터(텍스트, 이미지, 비디오)를 검색 및 생성 과정에 통합하여 텍스트 기반 검색 증강 생성(RAG)의 한계를 극복합니다. RAG가 외부 텍스트 지식을 통합하여 응답 정확도를 향상시키는 반면, MRAG는 다양한 데이터 유형의 상황 정보를 활용하는 다중 모달 검색 및 생성을 포함하도록 이 프레임워크를 확장합니다. 이러한 접근 방식은 환각을 줄이고 사실적인 다중 모달 지식에 응답을 근거하여 질문 응답 시스템을 향상시킵니다. 최근 연구에 따르면 MRAG는 특히 시각적 및 텍스트적 이해가 모두 필요한 시나리오에서 기존 RAG보다 성능이 우수한 것으로 나타났습니다. 본 논문은 MRAG의 필수 구성 요소, 데이터 세트, 평가 방법 및 한계를 검토하여 구축 및 개선에 대한 통찰력을 제공합니다. 또한 과제와 향후 연구 방향을 제시하여 다중 모달 정보 검색 및 생성에 혁명을 일으킬 MRAG의 잠재력을 강조합니다. 포괄적인 관점을 제공함으로써 본 연구는 이 유망한 패러다임에 대한 추가적인 탐구를 장려합니다.
