본 논문은 Contrastive Language-Image Pre-training (CLIP) 모델을 활용한 No-Reference Image Quality Assessment (NR-IQA)에서 이미지 임베딩과 텍스트 프롬프트 간의 코사인 유사성만 고려하는 기존 방식의 한계를 지적하고, CLIP 이미지 특징의 크기(magnitude)가 지각적 품질과 강한 상관관계를 보인다는 점에 착안하여 이를 보완하는 새로운 적응형 융합 프레임워크를 제안한다. 특히, 특징 크기를 추출하고 Box-Cox 변환을 적용하여 통계적으로 정규화하여 의미론적 민감도를 완화하며, 코사인 유사성과 함께 사용되는 보조 큐로 활용한다. 또한, 각 큐의 상대적 강도에 따라 가중치를 조절하는 신뢰도 기반 융합 방식을 설계하여, 여러 벤치마크 IQA 데이터셋에서 기존 CLIP 기반 IQA 및 최첨단 방식을 능가하는 성능을 달성했다.
시사점, 한계점
•
시사점:
◦
CLIP 특징 크기(magnitude)를 활용하여 NR-IQA 성능을 향상시킴.
◦
Box-Cox 변환 및 신뢰도 기반 융합 방식을 통해 효과적인 특징 통합을 달성.
◦
추가적인 task-specific training 없이, 여러 데이터셋에서 SOTA 성능을 달성.
•
한계점:
◦
CLIP 모델에 의존적이며, CLIP의 성능에 따라 제한될 수 있음.
◦
CLIP 특징 크기의 유효성에 대한 추가적인 분석이 필요할 수 있음.
◦
Box-Cox 변환 및 신뢰도 기반 융합 방식의 일반화 능력에 대한 추가적인 연구가 필요할 수 있음.
