TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
Created by
Haebom
저자
Victor Shea-Jay Huang, Le Zhuo, Yi Xin, Zhaokai Wang, Fu-Yun Wang, Yuchi Wang, Renrui Zhang, Peng Gao, Hongsheng Li
개요
본 논문은 U-Net 기반 확산 모델에 비해 덜 연구된 확산 트랜스포머(DiT)의 해석 가능성을 높이는 새로운 프레임워크인 TIDE(Temporal-aware sparse autoencoders for Interpretable Diffusion transformErs)를 제안합니다. TIDE는 DiT에서 시간에 따른 희소하고 해석 가능한 활성화 특징을 추출하여, DiT가 대규모 사전 학습 과정에서 계층적 의미(예: 3D 구조, 객체 클래스, 세부 개념)를 자연스럽게 학습한다는 것을 보여줍니다. 실험 결과, TIDE는 생성 품질을 유지하면서 해석 가능성과 제어 가능성을 향상시켜 안전한 이미지 편집 및 스타일 전이와 같은 응용 분야에 활용될 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
DiT의 해석 가능성 향상: TIDE를 통해 DiT의 내부 동작 과정을 이해하고 제어할 수 있습니다.
◦
계층적 의미 학습 규명: DiT가 대규모 사전 학습 과정에서 계층적 의미를 학습하는 과정을 밝힙니다.
◦
안전한 이미지 편집 및 스타일 전이 응용 가능성 제시: 해석 가능성 및 제어 가능성 향상을 통해 새로운 응용 분야를 제시합니다.
•
한계점:
◦
TIDE의 성능이 U-Net 기반 확산 모델에 비해 얼마나 우수한지는 명확하지 않습니다. 더욱 폭넓은 비교 실험이 필요합니다.
