본 논문은 다중 모드 대규모 모델(MLLMs)의 한계를 극복하고 인간 수준의 지능에 더욱 근접하기 위해, 다회차 다중 모드 상호작용에 대한 선호도 데이터셋인 InterMT를 제시합니다. InterMT는 실제 인간 피드백을 기반으로 구축되었으며, 15,600개의 프롬프트, 52,600개의 다회차 대화 인스턴스, 32,400개의 인간 레이블이 지정된 선호도 쌍으로 구성됩니다. 현재 MLLMs의 다중 모드 이해 및 생성 능력 부족을 보완하기 위해 도구 지원 MLLMs를 활용하는 에이전트 워크플로우를 도입하여 다회차 질의응답 인스턴스를 생성합니다. 또한, MLLMs의 다회차 다중 모드 작업 지원 능력을 평가하기 위한 InterMT-Bench를 제시하고, 판사 중재와 같은 응용 프로그램을 통해 InterMT의 유용성을 보여주고 판사 모델의 다회차 스케일링 법칙을 밝힙니다. 데이터셋의 공개를 통해 MLLMs의 발전에 기여하고자 합니다.
시사점, 한계점
•
시사점:
◦
다회차 다중 모드 상호작용에 대한 대규모 선호도 데이터셋 InterMT를 최초로 제공합니다.
◦
도구 지원 MLLMs를 활용한 에이전트 워크플로우를 통해 다중 모드 이해 및 생성 능력의 한계를 보완합니다.
◦
InterMT-Bench를 통해 MLLMs의 다회차 다중 모드 작업 지원 능력을 평가할 수 있습니다.
◦
다회차 스케일링 법칙을 밝히고, MLLMs의 발전 방향을 제시합니다.
◦
공개된 데이터셋을 통해 향후 연구를 촉진합니다.
•
한계점:
◦
InterMT 데이터셋이 아직 초기 단계의 탐구 결과이며, 데이터셋의 규모나 다양성 측면에서 추가적인 개선이 필요할 수 있습니다.
◦
도구 지원 MLLMs를 활용하는 에이전트 워크플로우의 효율성 및 일반화 성능에 대한 추가적인 연구가 필요합니다.
