본 논문은 영상 품질 평가(VQA) 분야에서 대규모 다중 모달 모델(LMM)의 성능 향상을 위한 데이터 스케일링 법칙의 잠재력을 탐구합니다. 기존의 VQA 데이터셋의 부족과 규모의 한계를 해결하기 위해, 고품질의 인간 참여 기반 VQA 다중 모달 지시 데이터베이스(MIDB)를 효율적으로 구축하는 OmniVQA 프레임워크를 제안합니다. OmniVQA 프레임워크를 통해 VQA 분야에서 가장 큰 MIDB인 OmniVQA-Chat-400K를 생성하고, 기술적 및 미적 품질 차원에 중점을 두어 세분화된 VQA 지식을 제공하는 풍부한 컨텍스트 내 지시 데이터를 포함합니다. 모델의 정량적 품질 평가 능력을 향상시키기 위해 OmniVQA-MOS-20K 데이터셋도 구축하였으며, 품질 이해 및 품질 평가 작업을 위한 데이터셋의 지식을 효과적으로 활용하는 보완적 훈련 전략을 제시합니다. 마지막으로, 모델의 세분화된 성능을 평가하기 위한 OmniVQA-FG(fine-grain)-Benchmark를 제안하며, 제안된 모델이 품질 이해 및 평가 작업 모두에서 최첨단 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
VQA 분야에서 대규모 고품질 다중 모달 데이터셋(OmniVQA-Chat-400K, OmniVQA-MOS-20K) 구축 및 공개.
◦
효율적인 고품질 MIDB 구축을 위한 OmniVQA 프레임워크 제시.
◦
품질 이해 및 평가 작업 모두에서 최첨단 성능 달성.
◦
세분화된 VQA 성능 평가를 위한 OmniVQA-FG 벤치마크 제시.
◦
보완적 훈련 전략을 통한 데이터셋 지식의 효과적인 활용.
•
한계점:
◦
OmniVQA 데이터셋의 구축 과정에 대한 자세한 설명 부족 (예: 데이터 수집 방법, 주석 과정 등).
