Gen-n-Val: Agentic Image Data Generation and Validation

Created by

Haebom

저자

Jing-En Huang, I-Sheng Fang, Tzuhsuan Huang, Yu-Lun Liu, Chih-Yu Wang, Jun-Cheng Chen

💡 개요

본 논문은 객체 탐지 및 인스턴스 분할 분야의 데이터 부족, 레이블 노이즈, 긴 꼬리 범주 불균형 문제를 해결하기 위해 Gen-n-Val이라는 새로운 에이전트 기반 합성 데이터 생성 및 검증 프레임워크를 제안합니다. Gen-n-Val은 Layer Diffusion (LD), LLM, VLLM을 활용하여 고품질의 다양하고 정확한 인스턴스 마스크와 이미지를 생성하며, 이를 통해 기존 합성 데이터 생성 방법의 한계를 극복합니다.

🔑 시사점 및 한계

•

고품질 합성 데이터 생성: Gen-n-Val은 LLM 기반 프롬프트 최적화와 VLLM 기반 검증을 통해 기존 방법 대비 현저히 낮은 불량 데이터 비율(50%에서 7%로 감소)을 달성하며, 객체 탐지 및 인스턴스 분할 성능 향상에 기여합니다.

•

희귀 클래스 성능 향상: 특히 LVIS 및 COCO와 같은 대규모 데이터셋에서 희귀 클래스에 대한 성능을 크게 개선하여 데이터 불균형 문제에 효과적으로 대응함을 입증합니다.

•

개방형 단어 객체 탐지 능력 강화: YOLO-Worldv2-M과 같은 기존 모델 대비 개방형 단어 객체 탐지 성능을 획기적으로 향상시키며, 모델 용량 및 데이터셋 크기에 따른 확장성을 보여줍니다.

•

한계점: 합성 데이터 생성 및 검증 과정에서 LLM 및 VLLM의 연산 자원 소모가 클 수 있으며, 프롬프트 엔지니어링의 복잡성이 성능에 영향을 미칠 수 있습니다. 향후 더욱 효율적인 에이전트 간 상호작용 및 자동화된 프롬프트 최적화 연구가 필요합니다.

PDF 보기

Made with Slashpage