Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Decouple-Then-Merge: Finetune Diffusion Models as Multi-Task Learning

Created by
  • Haebom
Category
Empty

저자

Qianli Ma, Xuefei Ning, Dongrui Liu, Li Niu, Linfeng Zhang

개요

본 논문은 확산 모델의 학습 효율을 높이기 위해 일반적으로 사용되는 다중 시간 단계에서의 파라미터 공유 방식의 한계를 지적하고, 이를 개선하기 위한 DeMe(Decouple-then-Merge) 프레임워크를 제안합니다. DeMe는 미리 학습된 모델을 기반으로 각 시간 단계에 특화된 개별 모델을 미세 조정하는 방식으로, 시간 단계 간의 기울기 충돌 문제를 해결합니다. 미세 조정 과정에서 효과적인 지식 공유를 촉진하고 시간 단계 간의 간섭을 최소화하는 여러 개선된 기법을 도입하며, 최종적으로는 이러한 개별 모델들을 하나의 모델로 병합하여 효율적인 추론을 가능하게 합니다. COCO30K, ImageNet1K, PartiPrompts, LSUN Church, LSUN Bedroom, CIFAR10 등 6개의 벤치마크에서 기존 방법보다 향상된 이미지 생성 품질을 보여줍니다.

시사점, 한계점

시사점:
확산 모델의 시간 단계 간 기울기 충돌 문제를 효과적으로 해결하는 새로운 프레임워크(DeMe) 제시.
개별 시간 단계에 특화된 모델 미세 조정을 통해 이미지 생성 품질 향상.
효율적인 지식 공유 및 시간 단계 간 간섭 최소화 기법 제시.
여러 벤치마크에서 성능 향상을 실험적으로 검증.
공개된 코드를 통해 재현성 확보.
한계점:
DeMe 프레임워크의 계산 비용이 기존의 단일 모델 방식보다 높을 수 있음. (미세 조정 단계에서 여러 모델을 학습해야 함)
제안된 기법의 일반화 성능에 대한 추가적인 연구 필요.
특정 데이터셋에 대한 성능 향상이 다른 데이터셋에도 동일하게 적용될지는 추가적인 검증 필요.
👍