본 논문은 사용자 특화 지식 부족으로 인해 일상생활 적용이 제한적인 다중 모달 대규모 언어 모델(MLLM)의 한계를 극복하기 위해, Retrieval Augmented Personalization (RAP) 프레임워크를 제시합니다. RAP는 일반적인 MLLM을 개인화된 어시스턴트로 전환하는 세 단계, 즉 (a) 사용자 관련 정보 저장, (b) 다중 모달 검색을 통한 관련 정보 검색, (c) 입력 질의 및 검색된 정보를 활용한 개인화된 응답 생성으로 구성됩니다. 기존 방법과 달리 외부 데이터베이스 업데이트를 통한 실시간 개념 편집을 지원하며, 개선된 생성 품질과 사용자 특화 정보의 정합성을 위해 데이터 수집 파이프라인과 개인화된 MLLM 학습을 위한 특수 데이터셋을 설계합니다. 대규모 데이터셋 사전 학습을 통해 추가적인 미세 조정 없이 무한한 시각적 개념에 일반화할 수 있는 RAP-MLLMs을 학습시키고, 개인화된 이미지 캡션 생성, 질문 답변, 시각적 인식 등 다양한 작업에서 뛰어난 유연성과 생성 품질을 보여줍니다. 코드, 데이터 및 모델은 https://hoar012.github.io/RAP-Project/ 에서 제공됩니다.
