Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

In-Situ Tweedie Discrete Diffusion Models

Created by
  • Haebom
Category
Empty

저자

Xiao Li, Jiaqi Zhang, Shuxiang Zhang, Tianshui Chen, Liang Lin, Guangrun Wang

개요

Tweedie's formula에 의해 보장되는 확산을 수행하는 In-situ Tweedie Discrete Diffusion (TDD) 프레임워크 제안. TDD는 연속 임베딩 공간에서 작동하거나 토큰 마스킹 메커니즘을 사용하는 기존의 간접적인 방식과 달리, 직접적으로 원-핫 공간에서 가우시안 노이즈로 원-핫 벡터를 손상시키고, 교차 엔트로피 목적 함수를 통해 반복적인 디노이징을 수행한다. 이 프레임워크는 이미지 분류 및 텍스트 생성 작업에서 강력한 성능을 보이며, 각 설계 요소의 효과를 확인하는 실험적 증거를 제시한다.

시사점, 한계점

시사점:
Tweedie's formula를 활용하여 진정한 이산 데이터 분포를 모델링하는 직접적인 이산 확산 접근 방식 제시.
이미지 분류 및 텍스트 생성에서 강력한 성능 달성.
분류와 생성 모델링을 단일 프레임워크로 통합.
각 설계 요소의 효과를 입증하는 상세한 분석.
한계점:
논문에서 구체적인 한계점이 명시적으로 언급되지 않음.
👍