멀티모달 AI는 텍스트, 이미지, 오디오, 비디오 등 여러 유형의 데이터를 결합하여 처리하고 이해하는 인공지능 기술을 말한다. 모달리티(Madality)는 데이터를 표현하는 다양한 방식으로, 텍스트, 이미지, 음성, 비디오, 센서 데이터 등이 있다. 다양한 유형의 모달리티를 사용하면 AI가 콘텐츠와 맥락을 더 잘 해석할 수 있어 더 정확한 출력물을 생성하는 데 도움이 된다.

주요 구성 요소

멀티모달 AI는 보통 다음 세 가지 요소로 구성된다.

•

입력 모듈 : 음성이나 시각 등 다양한 유형의 데이터를 수집하고 처리(또는 인코딩)하는 일종의 신경망이다.

•

퓨전 모듈 : 각 모달리티의 관련 데이터를 결합, 정렬하고 처리한다.

•

출력 모듈 : 분석한 결과를 다양한 결과물로 출력한다.

멀티모달 AI에 사용하는 주요 기술

•

자연어 처리(NLP) 기술

•

이미지 및 비디오 캡처를 위한 컴퓨터 비전 기술

•

텍스트 분석 기술

•

데이터 마이닝

•

음성 언어 및 처리 기술

대표적 모델

Gemini, GPT-4V, CLIP, Claude 3.5 Sonnet, Dall-E 3 등

싱글모달 AI vs 멀티모달 AI

특징	싱글모달 AI	멀티모달 AI
데이터 소스	단일 유형 데이터 (예: 텍스트, 이미지, 오디오 중 하나)	다양한 데이터 소스 (예: 텍스트, 이미지, 오디오, 비디오 등 결합)
데이터 관계 이해	각 데이터 소스를 개별적으로 분석하며 모달리티 간 상관 관계 이해 불가	다양한 모달리티 간의 복잡한 관계와 상호작용 이해 가능
처리 능력	단순하고 한정된 맥락 분석 가능	다각적인 맥락 분석과 인간과 유사한 직관적 이해 가능
사용 사례	금융 데이터 분석-이미지 객체 식별- 음성 인식	비디오 분석 및 캡션 생성- 감정 인식 (표정+음성)- 자율주행
강점	설계 및 구현 간단 적은 자원 요구	더 깊은 인사이트 제공 다각적 문제 해결 가능
한계	모달리티 간 통합 불가 데이터 이해 수준 제한적	데이터 동기화 및 융합 복잡 높은 계산 자원 필요
주요 기술 사례	유니모달 이미지 인식 시스템 NLP 기반 챗봇	멀티모달 비디오 자막 생성 이미지를 텍스트로 설명하는 AI

멀티모달 AI Multimodal AI

주요 구성 요소

멀티모달 AI에 사용하는 주요 기술

대표적 모델

싱글모달 AI vs 멀티모달 AI

관련 링크