Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DMin: Scalable Training Data Influence Estimation for Diffusion Models

Created by
  • Haebom

저자

Huawei Lin, Yingjie Lao, Weijie Zhao

개요

본 논문은 확산 모델(Diffusion Models, DMs)에서 생성된 이미지에 가장 큰 영향을 미치는 훈련 데이터 샘플을 식별하는 문제를 다룬다. 기존 방법들은 계산상의 제한으로 인해 소규모 모델이나 LoRA로 미세 조정된 모델에만 적용 가능했으나, 본 논문에서는 수십억 개의 매개변수를 가진 DMs에 대한 영향력 추정이 가능한 확장 가능한 프레임워크인 DMin을 제안한다. DMin은 효율적인 기울기 압축을 활용하여 저장 요구량을 수백 TB에서 MB 또는 KB 수준으로 줄이고, 상위 k개의 가장 영향력 있는 훈련 샘플을 1초 이내에 검색하면서 성능을 유지한다. 실험 결과, DMin은 영향력 있는 훈련 샘플을 효과적으로 식별하고 계산 및 저장 요구 사항 측면에서 효율적임을 보여준다.

시사점, 한계점

시사점:
수십억 매개변수를 가진 대규모 확산 모델에서도 훈련 데이터의 영향력을 효율적으로 추정 가능함을 보여줌.
기존 방법의 계산 및 저장 용량 제약을 극복하여, 실제 대규모 모델 적용 가능성을 확대함.
1초 이내의 빠른 속도로 상위 k개의 영향력 있는 샘플을 식별하여 실용성을 높임.
한계점:
DMin의 성능 및 효율성은 특정한 기울기 압축 기법에 의존적일 수 있음. 다른 기울기 압축 기법을 사용했을 때의 성능 저하 가능성 존재.
본 논문에서 제시된 실험 결과는 특정 데이터셋과 모델에 국한될 수 있으며, 다른 데이터셋이나 모델에 대한 일반화 가능성은 추가 연구가 필요함.
매우 큰 모델에 대한 적용 시에도, 여전히 계산 비용이 상당할 수 있으며, 더욱 효율적인 알고리즘 개발이 필요할 수 있음.
👍