Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Style Transfer to Calvin and Hobbes comics using Stable Diffusion

Created by
  • Haebom

저자

Asvin Kumar Venkataramanan, Sloke Shrestha, Sundar Sripada Venugopalaswamy Sriraman

개요

본 연구는 캘빈과 홉스 만화 데이터셋을 사용하여 안정적 확산(Stable Diffusion) 모델을 미세 조정하는 과정을 요약한 프로젝트 보고서입니다. 목표는 임의의 입력 이미지를 캘빈과 홉스 만화 스타일로 변환하는 스타일 전이를 수행하는 것입니다. 효율적인 미세 조정을 위해 Low Rank Adaptation (LoRA)을 이용하여 stable-diffusion-v1.5를 훈련시켰으며, 확산 과정은 U-net인 Variational Autoencoder (VAE)에 의해 처리됩니다. 훈련 시간과 입력 데이터 품질을 고려했을 때 시각적으로 매력적인 결과를 얻었습니다.

시사점, 한계점

시사점: LoRA를 사용한 안정적 확산 모델의 효율적인 미세 조정 방법을 제시하며, 제한된 데이터셋과 훈련 시간에도 양호한 스타일 전이 결과를 도출할 수 있음을 보여줍니다. 캘빈과 홉스 만화 스타일과 같은 특정 스타일 전이에 대한 실용적인 접근 방식을 제시합니다.
한계점: 사용된 데이터셋의 크기와 품질에 대한 자세한 설명이 부족합니다. 객관적인 성능 평가 지표가 제시되지 않아 결과의 질적 평가에만 의존하고 있습니다. 다른 스타일의 이미지에 대한 일반화 성능에 대한 검증이 부족합니다. 보고서의 성격상 세부적인 기술적 내용과 실험 설정에 대한 정보가 제한적입니다.
👍