From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons

작성자

Haebom

카테고리

Empty

저자

Xiangyu Ma, Teng Xiao, Zuchao Li, Lefei Zhang

💡 개요

본 논문은 효율적인 병렬 텍스트 생성을 약속하는 확산 모델이 기존 자기회귀(AR) 모델과의 구조적 불일치로 인해 AR 모델의 강력한 사전 학습 지식을 재사용하기 어렵다는 문제를 제기합니다. 이를 해결하기 위해 AR 모델을 확산 패러다임에 효율적으로 적응시키는 FLUID 프레임워크를 제안하며, '엄격한 인과 정렬'을 통해 기존 GPT 스타일 체크포인트로 초기화하여 막대한 사전 학습의 필요성을 없앱니다. 또한, '탄력적 지평'이라는 새로운 메커니즘을 도입하여 고정된 일정 대신 지역 정보 밀도에 따라 노이즈 제거 보폭을 동적으로 조절하여 성능을 향상시키고 학습 비용을 크게 절감합니다.

🔑 시사점 및 한계

•

기존 AR 모델의 강력한 사전 학습 지식을 확산 모델에서도 재사용할 수 있게 하여 학습 효율성을 획기적으로 높입니다.

•

'탄력적 지평' 메커니즘을 통해 지역 정보에 기반한 동적인 노이즈 제거 전략으로 성능을 최적화합니다.

•

제안된 FLUID 프레임워크는 AR 모델과 확산 모델의 장점을 융합하여 최신 성능을 달성하면서도 학습 비용을 현저히 감소시킵니다.

•

(한계점 또는 향후 과제): 제안된 방법론이 특정 언어 모델 아키텍처나 데이터셋에 대해 어떻게 일반화될 수 있는지에 대한 추가 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage