AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching

작성자

Haebom

카테고리

Empty

저자

Pengfei Zhang, Tianxin Xie, Minghao Yang, Li Liu

💡 개요

본 논문은 오디오 흐름 매칭(Audio Flow Matching) 모델 학습에서 표현 정렬(REPA)의 효과를 높이기 위해, 기존의 휴리스틱한 계층 선택 방식 대신 인과적 계층 선택 전략인 AG-REPA를 제안합니다. AG-REPA는 학습된 교사 모델의 특징과 은닉 상태 간의 유사도와 생성에 기여하는 정도 간의 불일치(SCD)를 발견하고, 이를 정량화하는 FoG-A 기법을 통해 생성 속도장에 기여하는 핵심 계층을 선별하여 가중치를 부여합니다. 이를 통해 AG-REPA는 다양한 오디오 데이터셋 및 토큰 조건부 설정에서 기존 REPA 방식보다 일관적으로 우수한 성능을 보여줍니다.

🔑 시사점 및 한계

•

표현적으로 풍부하지만 생성 과정에 기능적으로 수동적인 계층보다는, 속도장을 직접적으로 이끄는 인과적으로 지배적인 계층에 표현 정렬을 적용하는 것이 효과적임을 보여줍니다.

•

생성 모델 학습에서 교사 특징과의 유사성과 실제 생성 기여도 간의 분리(SCD) 현상을 규명하고, 이를 활용한 계층 선택 방법론을 제시합니다.

•

제안된 AG-REPA는 다양한 오디오 조건부 생성 작업에서 기존 REPA 대비 성능 향상을 가져왔습니다.

•

본 연구는 주로 단일 작업(음성 및 일반 오디오)에 초점을 맞추었으므로, 다양한 도메인 및 복잡한 조건부 설정에서의 AG-REPA의 일반화 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage