본 논문은 확산 대규모 언어 모델(dLLM)에서 발생하는 템포럴 오실레이션 현상을 발견하고, 이를 해결하기 위한 두 가지 방법을 제시한다. dLLM은 텍스트를 생성하는 과정에서 중간 예측 결과가 최종 결과보다 더 정확한 경우도 발생하는데, 이러한 문제를 해결하기 위해 템포럴 일관성을 활용한다. 첫째, 훈련 없이 중간 단계의 예측 결과를 모아 가장 일관된 출력을 선택하는 Temporal Self-Consistency Voting 기법을 제안한다. 둘째, Temporal Semantic Entropy (TSE)를 활용하여 생성의 안정성을 높이는 Temporal Consistency Reinforcement 방법을 제안한다. 다양한 벤치마크에서 제안하는 방법론의 효과를 입증하며, 특히 Countdown 데이터셋에서 기존 dLLM 대비 24.7%의 향상을 보였다.
시사점, 한계점
•
시사점:
◦
dLLM의 템포럴 다이내믹스, 즉 시간의 흐름에 따른 변화의 중요성을 강조하고, 이를 활용하는 새로운 방법을 제시함.
◦
훈련 방식이 없는 Temporal Self-Consistency Voting을 통해 테스트 단계에서 성능 향상을 이끌어냄.
◦
Temporal Consistency Reinforcement를 통해 생성의 안정성을 높이는 동시에 여러 데이터셋에서 의미있는 성능 향상을 달성함.
•
한계점:
◦
구체적인 모델 구조나 구현 방식에 대한 설명이 부족할 수 있음. (초록만을 기반으로 판단)
◦
다른 기존 dLLM 모델과의 비교 분석이 추가적으로 필요할 수 있음.
◦
TSE와 같은 새로운 지표의 일반화 가능성 및 다른 모델로의 확장성에 대한 추가 연구가 필요함.
