본 논문은 블록 확산 언어 모델(Block Diffusion Language Model)을 제시합니다. 이 모델은 기존 확산 언어 모델의 병렬 생성 및 제어 가능성이라는 장점을 유지하면서, 확률 모델링의 한계와 고정 길이 생성 제한을 극복합니다. 이는 이산 잡음 제거 확산 모델과 자기회귀 모델의 중간 지점에 위치하는 새로운 접근 방식으로, 유연한 길이 생성을 지원하고 KV 캐싱 및 병렬 토큰 샘플링을 통해 추론 효율성을 향상시킵니다. 효율적인 훈련 알고리즘, 기울기 분산 추정기 및 데이터 기반 잡음 일정을 포함하는 효과적인 블록 확산 모델 구축 방법론을 제안하며, 언어 모델링 벤치마크에서 최첨단 성능을 달성하고 임의 길이 시퀀스 생성을 가능하게 합니다. 모델 가중치와 블로그 게시물을 포함한 코드는 프로젝트 페이지(https://m-arriola.com/bd3lms)에서 제공됩니다.
시사점, 한계점
•
시사점:
◦
확산 모델의 병렬 생성 및 제어 가능성과 자기회귀 모델의 높은 확률 모델링 성능을 결합하여 장점을 극대화.
◦
유연한 길이 생성을 지원하여 기존 확산 모델의 고정 길이 제한 극복.
◦
KV 캐싱 및 병렬 토큰 샘플링을 통해 추론 효율성 향상.
◦
언어 모델링 벤치마크에서 최첨단 성능 달성.
◦
임의 길이 시퀀스 생성 가능.
◦
효율적인 훈련 알고리즘, 기울기 분산 추정기 및 데이터 기반 잡음 일정을 제공하여 모델 성능 향상.
•
한계점:
◦
본 논문에서는 구체적인 한계점이 언급되지 않음. 추가적인 실험 및 비교 분석을 통해 한계점을 파악할 필요가 있음.
