Mechanism Shift During Post-training from Autoregressive to Masked Diffusion Language Models

작성자

Haebom

카테고리

Empty

저자

Injin Kong, Hyoungjoon Lee, Yohan Jo

💡 개요

본 연구는 사전 훈련된 자기회귀 모델(ARMs)을 마스크드 확산 모델(MDMs)로 사후 훈련하는 과정에서 발생하는 내부 연산 메커니즘의 변화를 분석합니다. 비교 회로 분석을 통해, MDM은 전역적 작업에서 초기 계층으로 연산을 집중시키고, 자기회귀 모델에서 나타나는 국소적 특수화 대신 분산된 통합을 보이는 두 가지 보완적인 연산 재조직 방식을 발견했습니다. 이는 사후 훈련이 단순히 생성 절차의 표면적 변화가 아니라 작업에 따라 내부 연산의 깊이가 달라지는 재구성을 유도함을 보여줍니다.

🔑 시사점 및 한계

•

자기회귀 모델을 확산 모델로 사후 훈련하는 것은 작업의 특성에 따라 내부 연산 메커니즘을 근본적으로 재구성합니다.

•

전역적 작업의 경우, 확산 모델은 연산의 초기 계층 집중과 분산된 정보 통합을 통해 효율성을 높입니다.

•

작업에 따라 달라지는 연산 재구성의 깊이를 이해하는 것은 향후 확산 모델 설계 및 최적화에 중요한 단서를 제공합니다.

•

다양한 작업 및 모델 아키텍처에 대한 광범위한 분석을 통해 이러한 변화의 일반성을 검증하는 것이 향후 과제입니다.

PDF 보기

Made with Slashpage