본 논문은 지식 집약적 개념 생성에 대한 사실성 평가를 중점적으로 다루는, 텍스트-이미지(T2I) 생성 모델의 사실성 평가를 위한 대규모 벤치마크인 T2I-FactualBench를 제시합니다. 기존 연구들이 주로 텍스트-이미지 정합성, 이미지 품질, 객체 구성 능력에 초점을 맞춘 것과 달리, 본 논문은 지식 집약적 개념에 대한 T2I 모델의 사실성 평가에 집중합니다. T2I-FactualBench는 개별 지식 개념의 기본적인 암기부터 복수 지식 개념의 복합적인 구성까지 다루는 3단계 지식 집약적 T2I 생성 프레임워크로 구성되며, 다중 라운드 시각적 질의응답(VQA) 기반 평가 프레임워크를 통해 사실성을 평가합니다. 실험 결과, 최첨단(SOTA) T2I 모델들도 여전히 개선의 여지가 상당함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
지식 집약적 개념 생성에 대한 T2I 모델의 사실성 평가를 위한 새로운 벤치마크인 T2I-FactualBench를 제시.
◦
기존 연구의 한계를 보완하여, 사실성 평가에 대한 중요성을 강조.
◦
다중 라운드 VQA 기반 평가 프레임워크를 통해 보다 정확한 사실성 평가 가능.
◦
최첨단 T2I 모델의 사실성에 대한 현황과 개선 방향 제시.
•
한계점:
◦
T2I-FactualBench의 규모가 크다고 언급하지만, 구체적인 규모(개념 수, 프롬프트 수 등)에 대한 정보 부족.
