Subliminal Clocks: Latent Time Modeling in Diffusion Language Models
Author
- Haebom
Category
Empty
저자
Maximo Eduardo Rulli, Thomas Vaitses Fontanari, Simone Petruzzi, Federico Alvetreti, Giorgio Strano, Donato Crisostomi, Giorgos Nikolaou, Tommaso Mencattini, Andrea Santilli, Emanuele Rodola, Simone Scardapane, Alessio Devoto
💡 개요
본 연구는 확산 언어 모델(DLM)이 내부적으로 노이즈 제거 과정을 나타내는 잠재 시계열 정보를 인코딩한다는 것을 밝혀냈습니다. 연구진은 잔여 스트림에서 이러한 시간 정보를 추출하고, 이를 조절하여 모델의 예측 불확실성과 엔트로피를 체계적으로 제어할 수 있음을 보여주었습니다. 또한, 추출된 잠재 시계열 표현이 활성화 공간에서 구조적이고 해석 가능한 특성을 가짐을 분석했습니다.
🔑 시사점 및 한계
•
DLM은 명시적인 시점 조건 없이도 내부적으로 노이즈 제거 진행 상황을 인코딩하며, 이는 모델의 예측 능력과 제어 가능성에 중요한 역할을 합니다.
•
잠재 시계열 표현을 조절함으로써 DLM의 동작을 예측 가능하게 변화시킬 수 있어, 모델의 신뢰도 및 예측 불확실성 제어에 활용될 수 있습니다.
•
본 연구는 DLM의 내부 작동 메커니즘에 대한 이해를 심화시키지만, 잠재 시계열 표현의 정확한 해석 및 모든 DLM 아키텍처에 대한 일반화 가능성에 대한 추가 연구가 필요합니다.
