Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

HEIE: MLLM-Based Hierarchical Explainable AIGC Image Implausibility Evaluator

Created by
  • Haebom

저자

Fan Yang, Ru Zhen, Jianing Wang, Yanhao Zhang, Haoxiang Chen, Haonan Lu, Sicheng Zhao, Guiguang Ding

개요

본 논문은 AI 이미지 생성(AIGC) 이미지의 품질 저하 문제(아티팩트, 비자연스러운 질감 등)를 해결하기 위해, 계층적 설명 가능 이미지 비현실성 평가기(HEIE)를 제안합니다. HEIE는 다중 모달 대규모 언어 모델(MLLM)을 기반으로 하며, 복잡한 작업을 단계적으로 분해하여 해석성을 높이는 사고 과정(CoT) 기반 설명 가능 트리니티 평가기와 저수준 이미지 특징과 고수준 LLM 토큰을 결합하여 정확한 히트맵 예측을 가능하게 하는 적응형 계층적 비현실성 매퍼를 포함합니다. 또한, 해석 가능한 AIGC 이미지 비현실성 평가를 위한 새로운 데이터셋 Expl-AIGI-Eval을 제시합니다. 실험 결과, HEIE는 최첨단 성능을 달성함을 보여줍니다.

시사점, 한계점

시사점:
AIGC 이미지의 품질 저하 문제 해결을 위한 새로운 접근법 제시
MLLM을 활용하여 이미지의 비현실성을 효과적으로 평가하고 설명 가능성을 향상
계층적 접근 방식을 통해 정확하고 상세한 히트맵 생성
새로운 데이터셋 Expl-AIGI-Eval을 통해 향후 연구에 기여
최첨단 성능 달성
한계점:
MLLM의 한계로 인한 미세한 결함 위치 파악의 어려움
픽셀 단위 출력 생성의 어려움
제안된 방법의 일반화 성능에 대한 추가적인 검증 필요
👍