Can I Have Your Order? Monte-Carlo Tree Search for Slot Filling Ordering in Diffusion Language Models

Created by

Haebom

저자

Joshua Ong Jun Leang, Yu Zhao, Mihaela C\u{a}t\u{a}lina Stoian, Wenda Li, Shay B. Cohen, Eleonora Giunchiglia

💡 개요

본 논문은 Masked Diffusion Models (MDMs)의 계획 및 채우기(plan-and-infill) 디코딩에서 슬롯 채우기 순서의 민감도 문제를 해결하고자 합니다. 이를 위해 슬롯 선택을 의사 결정 문제로 간주하고, Monte Carlo Tree Search (MCTS)를 활용하여 채우기 순서를 최적화하는 McDiffuSE 프레임워크를 제안합니다. 제안된 방법은 MBPP와 MATH500 데이터셋에서 기존 방법론 대비 상당한 성능 향상을 보여주었습니다.

🔑 시사점 및 한계

•

MDMs의 슬롯 채우기 순서 최적화를 위해 MCTS 기반 계획 방법이 효과적임을 입증합니다.

•

순차적인 채우기 순서뿐만 아니라 비순차적인 생성 전략의 중요성을 확인하였으며, 모델의 확신 편향을 극복하기 위해 시뮬레이션 횟수보다 탐색 상수를 높이는 것이 더 중요함을 밝혔습니다.

•

본 연구는 MCTS 기반 계획이 MDMs의 생성 품질을 향상시킬 수 있는 유망한 접근 방식임을 제시합니다.

•

향후 연구에서는 더 복잡한 추론 태스크에 대한 McDiffuSE의 적용 가능성과 다양한 MCTS 변형 기법의 효과를 탐구할 수 있습니다.

PDF 보기

Made with Slashpage