본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해, 연속적인 잠재 표현의 표현력과 잠재 확산 모델의 반복적인 개선 능력을 통합한 새로운 추론 프레임워크인 LaDiR (Latent Diffusion Reasoner)을 제안한다. LaDiR은 텍스트 추론 단계를 의미 정보를 보존하면서도 간결하고 표현력 있는 표현을 제공하는 Variational Autoencoder (VAE)를 사용하여 구조화된 잠재 추론 공간을 구축한다. 그 후, 잠재 확산 모델을 활용하여 블록별 양방향 어텐션 마스크를 통해 잠재적 사고 토큰 블록을 노이즈 제거하도록 학습하며, 이를 통해 더 긴 수평선과 적응형 런타임 계산을 통한 반복적 개선이 가능하게 한다. 이 설계는 다양한 추론 궤적의 효율적인 병렬 생성을 가능하게 하여 모델이 추론 과정을 전체적으로 계획하고 수정할 수 있도록 한다. 수학적 추론 및 계획 벤치마크에서 LaDiR은 기존 자동 회귀, 확산 기반, 잠재 추론 방법보다 정확성, 다양성 및 해석 가능성을 일관되게 향상시켜 잠재 확산을 사용한 텍스트 추론의 새로운 패러다임을 제시한다.
