LaMP-Cap: Personalized Figure Caption Generation With Multimodal Figure Profiles
Created by
Haebom
저자
Ho Yin 'Sam' Ng, Ting-Yao Hsu, Aashish Anantha Ramakrishnan, Branislav Kveton, Nedim Lipka, Franck Dernoncourt, Dongwon Lee, Tong Yu, Sungchul Kim, Ryan A. Rossi, Ting-Hao 'Kenneth' Huang
개요
본 논문은 다양한 언어 모델(LLM)을 활용하여 그림 캡션을 생성하는 연구에 대해 다룹니다. 기존의 그림 캡션 생성 모델들은 저자의 글쓰기 스타일 및 해당 분야의 스타일과 일치하지 않는 일반적인 캡션을 생성하는 경향이 있어, 저자의 수정이 필수적이었습니다. 이에 본 논문에서는 다양한 모드의 정보를 포함하는 프로필을 활용하여 개인화된 그림 캡션 생성을 위한 새로운 데이터셋, LaMP-Cap을 제시합니다. LaMP-Cap은 각 그림에 대한 이미지뿐만 아니라, 같은 문서 내 다른 그림들의 이미지, 캡션, 그리고 그림을 언급하는 단락까지 프로필 정보로 제공합니다. 실험 결과, 프로필 정보를 활용하면 저자의 원래 캡션과 더 유사한 캡션을 생성하는 데 도움이 되는 것으로 나타났으며, 특히 프로필 내 이미지가 단락 정보보다 더 효과적임을 밝혔습니다. 이는 텍스트 기반 정보만 활용하는 것보다 다양한 모드의 정보를 활용하는 것이 유리함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다양한 모드(이미지, 텍스트)를 포함하는 프로필 정보를 활용하여 개인화된 그림 캡션 생성의 성능 향상을 보여줌.
◦
프로필 내 이미지 정보가 텍스트 정보보다 캡션 생성에 더 효과적임을 실험적으로 증명.
◦
LaMP-Cap 데이터셋은 향후 개인화된 그림 캡션 생성 연구에 기여할 수 있는 귀중한 자원.
