Fine-Grained Perturbation Guidance via Attention Head Selection
Created by
Haebom
저자
Donghoon Ahn, Jiwon Kang, Sanghyun Lee, Minjae Kim, Jaewon Min, Wooseok Jang, Sangwu Lee, Sayak Paul, Susung Hong, Seungryong Kim
개요
본 논문은 확산 모델에서 어텐션 퍼터베이션(attention perturbation)을 이용한 가이드 방법을 개선하는 연구에 관한 것입니다. 기존의 어텐션 퍼터베이션 방법들은 퍼터베이션을 적용할 위치를 체계적으로 결정하는 데 어려움이 있었는데, 특히 Diffusion Transformer (DiT) 아키텍처에서는 품질 관련 계산이 여러 레이어에 분산되어 있기 때문입니다. 본 논문에서는 레이어 수준부터 개별 어텐션 헤드 수준까지 다양한 세분화 수준에서 어텐션 퍼터베이션을 분석하여 특정 헤드가 구조, 스타일, 질감과 같은 구체적인 시각적 개념을 담당함을 발견했습니다. 이러한 통찰력을 바탕으로, 사용자 중심의 목표에 맞는 어텐션 헤드를 반복적으로 선택하는 체계적인 프레임워크인 "HeadHunter"를 제안합니다. 또한, 선택된 각 헤드의 어텐션 맵을 항등 행렬(identity matrix)로 선형 보간하는 SoftPAG를 도입하여 퍼터베이션 강도를 조절하고 인공물을 억제합니다. HeadHunter와 SoftPAG는 기존 레이어 수준 퍼터베이션의 과도한 평활화 문제를 완화하고, 구성적인 헤드 선택을 통해 특정 시각 스타일을 목표 지향적으로 조작할 수 있게 합니다. Stable Diffusion 3 및 FLUX.1과 같은 대규모 DiT 기반 텍스트-이미지 모델에서 실험을 통해 일반적인 품질 향상과 스타일 특정 가이드 모두에서 우수한 성능을 보임을 확인했습니다. 본 연구는 확산 모델에서 어텐션 퍼터베이션에 대한 최초의 헤드 수준 분석을 제공하며, 어텐션 레이어 내의 해석 가능한 특수화를 밝히고 효과적인 퍼터베이션 전략의 실용적인 설계를 가능하게 합니다.
시사점, 한계점
•
시사점:
◦
확산 모델에서 어텐션 헤드 수준의 세분화된 퍼터베이션을 통해 시각적 특징(구조, 스타일, 질감 등)을 개별적으로 제어 가능함을 보임.
◦
HeadHunter와 SoftPAG를 통해 기존 어텐션 퍼터베이션의 한계점인 과도한 평활화 문제와 퍼터베이션 강도 조절의 어려움을 해결.
◦
사용자 중심의 목표에 맞춰 시각적 품질과 속성을 미세 조정할 수 있는 새로운 프레임워크 제시.
◦
Stable Diffusion 3, FLUX.1 등 대규모 모델에서 성능 향상을 실험적으로 검증.
◦
어텐션 메커니즘의 해석 가능성을 높이고, 향후 확산 모델의 설계 및 제어 방식에 대한 새로운 가능성 제시.
•
한계점:
◦
HeadHunter의 헤드 선택 과정이 완전히 자동화되지 않아, 사용자의 개입이 필요할 수 있음.
◦
특정 모델 및 데이터셋에 대한 성능 평가 결과이므로, 다른 모델이나 데이터셋에 대한 일반화 가능성은 추가 연구가 필요함.
◦
SoftPAG의 선형 보간 방식이 최적의 방법인지에 대한 추가적인 연구가 필요할 수 있음.
◦
헤드 선택의 해석 가능성 향상을 위한 추가적인 연구가 필요하며, 선택된 헤드가 실제로 어떤 시각적 개념을 담당하는지에 대한 더욱 심층적인 분석이 필요함.
