본 논문은 다중 모드 대규모 언어 모델의 제로샷 능력과 강력한 이미지 이해 능력에도 불구하고, 기존 오픈소스 모델들이 특히 긴 맥락에서 다회차 상호작용 능력이 약하다는 문제점을 제기합니다. 이를 해결하기 위해 맥락 정보 표현을 강화하는 ContextQFormer라는 맥락 모델링 모듈을 제시하고, 다회차 다중 모드 대화 연구를 위한 새로운 데이터셋 TMDialog를 구축하여 공개할 것을 발표합니다. TMDialog는 기존 데이터셋보다 긴 대화를 포함하여 다회차 다중 모드 대화 연구를 지원하며, ContextQFormer는 TMDialog를 이용한 실험에서 기존 모델들보다 2%-4% 향상된 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
긴 맥락을 가진 다회차 다중 모달 대화 모델의 성능 향상에 기여하는 새로운 맥락 모델링 모듈(ContextQFormer) 제시
◦
다회차 다중 모달 대화 연구를 위한 새로운 대규모 데이터셋(TMDialog) 공개를 통해 향후 연구 활성화 기대
◦
ContextQFormer가 기존 모델 대비 성능 향상을 보임 (2%-4%)
•
한계점:
◦
TMDialog 데이터셋의 구체적인 구성 및 규모, 데이터 품질에 대한 자세한 정보 부족
◦
ContextQFormer의 성능 향상이 2-4%로 상대적으로 미미할 수 있음
◦
다른 다중 모달 대화 모델과의 비교 분석이 부족하여 일반화 가능성에 대한 추가적인 검증 필요
