UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching
작성자
카테고리
Empty
저자
Kou Misaki, Takuya Akiba
💡 개요
본 논문은 Masked Diffusion Language Models (MDLMs)의 테스트 시간 추론 능력을 향상시키기 위해 UnMaskFork (UMF)라는 새로운 프레임워크를 제안합니다. UMF는 MDLM의 반복적이고 비자기회귀적인 생성 과정을 활용하여, 마스크 해제 경로를 탐색 트리로 모델링하고 몬테카를로 트리 탐색(MCTS)을 통해 최적의 생성 경로를 탐색합니다. 이를 통해 복잡한 코딩 및 수학적 추론 작업에서 기존 테스트 시간 스케일링 방법보다 우수한 성능을 보여줍니다.
🔑 시사점 및 한계
•
MDLM은 테스트 시간 스케일링 전략을 통해 추론 능력을 효과적으로 향상시킬 수 있습니다.
•
UnMaskFork는 MDLM의 탐색 공간을 체계적으로 탐색하여 비확률적 샘플링 기반의 기존 방법론보다 더 나은 성능을 제공합니다.
•
제안된 UMF 프레임워크는 복잡한 코딩 및 수학적 추론 작업에서 강력한 확장성을 보여줍니다.
