DermaSynth: Rich Synthetic Image-Text Pairs Using Open Access Dermatology Datasets
Created by
- Haebom
Category
Empty
저자
Abdurrahim Yilmaz, Furkan Yuceyalcin, Ece Gokyayla, Donghee Choi, Ozan Erdem, Ali Anil Demircali, Rahmetullah Varol, Ufuk Gorkem Kirabali, Gulsum Gencoglan, Joram M. Posma, Burak Temelkuran
개요
DermaSynth는 피부과학 관련 임상 과제를 위한 92,020개의 합성 이미지-텍스트 쌍으로 구성된 데이터셋입니다. 기존의 오픈 액세스 피부과 이미지 저장소(DERM12345, BCN20000, PAD-UFES-20, SCIN, HIBA)를 기반으로 Gemini 2.0을 사용하여 임상 관련 프롬프트와 자가 지시 방법을 활용, 다양하고 풍부한 합성 텍스트를 생성했습니다. 메타데이터를 프롬프트에 통합하여 환각을 줄였으며, 5,000개의 샘플로 Llama-3.2-11B-Vision-Instruct 모델을 미세 조정하여 DermatoLlama 1.0을 개발했습니다. 피부과 AI 연구를 지원하고 가속화할 것으로 기대됩니다. 데이터와 코드는 GitHub에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
피부과 영역에서 대규모 이미지-텍스트 데이터셋 부족 문제 해결에 기여.
◦
합성 데이터를 활용한 피부과 AI 모델 개발의 가능성 제시.
◦
DermatoLlama 1.0 모델을 통한 초기 성과 제시.
◦
오픈 액세스 데이터셋으로 연구 접근성 향상.
•
한계점:
◦
합성 데이터의 한계로 인한 실제 데이터와의 차이 존재 가능성.
◦
DermatoLlama 1.0은 예비 모델이며 추가적인 연구 및 개선 필요.
◦
데이터셋의 규모가 더욱 확장될 필요성.
◦
합성 데이터의 질적 평가 및 검증에 대한 추가 연구 필요.
