Fashion Florence: Fine-Tuning Florence-2 for Structured Fashion Attribute Extraction

작성자

Haebom

카테고리

Empty

저자

Anushree Berlia

💡 개요

본 논문은 패션 이미지에서 구조화된 속성(카테고리, 색상, 소재, 스타일, 상황)을 추출하기 위해 Florence-2 비전-언어 모델을 LoRA 기법으로 미세 조정하여 Fashion Florence를 제안합니다. iMaterialist Fashion 데이터셋을 바탕으로 규칙 기반 레이블 엔지니어링을 통해 압축된 스키마로 데이터를 재구성하여 학습했으며, 이를 통해 하위 추천 및 검색 시스템에서 직접 활용 가능한 JSON 형식의 구조화된 출력을 생성합니다.

🔑 시사점 및 한계

•

구조화된 패션 속성 추출의 효율성 증대: Fashion Florence는 기존 모델들(GPT-4o-mini, Gemini 2.5 Flash) 대비 높은 정확도로 카테고리, 소재, 스타일 태그를 추출하며, JSON 형식의 출력을 통해 후속 시스템과의 통합을 용이하게 합니다.

•

경량 미세 조정을 통한 성능 향상: LoRA와 같은 경량 미세 조정 기법을 사용하여 적은 데이터와 자원으로도 높은 성능을 달성할 수 있음을 보여줍니다.

•

데이터셋 특성 및 스키마 설계의 중요성: iMaterialist Fashion 데이터셋을 기반으로 규칙 기반 레이블 엔지니어링을 통해 압축된 스키마를 설계하는 과정은 모델 성능에 중요한 영향을 미치며, 이는 향후 다양한 패션 데이터셋에 적용 시 스키마 설계에 대한 고려가 필요함을 시사합니다.

•

소재 추출 정확도 개선 필요: 소재 추출 정확도가 다른 속성에 비해 상대적으로 낮으므로, 향후 연구에서는 소재 정보 추출 성능을 더욱 향상시키는 방안을 모색할 필요가 있습니다.

PDF 보기

Made with Slashpage