Sign In

Zero-Shot Automatic Annotation and Instance Segmentation using LLM-Generated Datasets: Eliminating Field Imaging and Manual Annotation for Deep Learning Model Development

Created by
  • Haebom
Category
Empty

저자

Ranjan Sapkota, Achyut Paudel, Manoj Karkee

개요

본 논문은 농업 분야의 사과 개체 분할을 위한 노동 집약적인 데이터 수집 및 수동 주석 과정을 없애는 새로운 방법을 제시한다. 대규모 언어 모델(LLM)을 활용하여 합성 과수원 이미지를 생성하고, YOLO11 기반 모델과 통합된 Segment Anything Model (SAM)을 이용하여 자동으로 주석을 달았다. 이렇게 생성된 합성 데이터셋으로 YOLO11 모델을 훈련하여 실제 과수원 이미지에서 사과 개체 분할을 수행했으며, 높은 Dice 계수(0.9513)와 IoU(0.9303)를 달성하여 자동 주석의 정확성을 검증했다. 특히 YOLO11m-seg 및 YOLO11l-seg 구성은 실제 과수원 이미지 테스트 및 검증에서 높은 정밀도와 mAP@50 지표를 보였다. 이 방법은 농업 AI 분야에서 데이터 수집 및 처리의 어려움을 극복하는 데 중요한 발전을 제시한다.

시사점, 한계점

시사점:
합성 데이터와 자동 주석을 이용하여 사과 개체 분할을 위한 효율적인 딥러닝 모델 훈련 방법을 제시.
노동 집약적인 데이터 수집 및 수동 주석 과정을 대폭 감소시켜 연구 및 개발 비용 절감.
LLM과 SAM을 결합하여 자동화된 데이터 생성 및 주석 시스템 구축 가능성을 보여줌.
YOLO11 모델의 높은 정확도와 효율성을 확인.
한계점:
현재는 사과 개체 분할에만 집중, 다른 농작물이나 객체에 대한 일반화 가능성은 추가 연구 필요.
LLM에 의존적인 합성 데이터의 현실과의 차이로 인한 성능 저하 가능성 존재.
SAM의 성능에 의존적이며, SAM의 한계가 본 연구의 성능에도 영향을 줄 수 있음.
다양한 환경 조건(조명, 밀도 등)에 대한 모델의 일반화 성능 평가가 부족.
👍