DLLM ํ์ฐ์ธ์ด๋ชจ๋ธ
๊ฐ์ ํ์ฐ ์ธ์ด ๋ชจ๋ธ(Diffusion Language Model, DLLM)์ ํ์ฐ ๋ชจ๋ธ(Diffusion Model)์ ๊ฐ๋
์ ์์ฐ์ด ์ฒ๋ฆฌ(NLP)์ ์ ์ฉํ ์ธ์ด ๋ชจ๋ธ์ด๋ค. ๊ธฐ์กด์ ํธ๋์คํฌ๋จธ ๊ธฐ๋ฐ ์ธ์ด ๋ชจ๋ธ๊ณผ ๋ฌ๋ฆฌ, ํ์ฐ ๊ณผ์ (diffusion process)์ ํตํด ๋ฌธ์ฅ์ ์์ฑํ๊ฑฐ๋ ๋ณด์ํ๋ ๋ฐฉ์์ผ๋ก ์๋ํ๋ค. ๊ฐ๋
๋ฐ ์๋ฆฌ ํ์ฐ ์ธ์ด ๋ชจ๋ธ์ ์ด๋ฏธ์ง ์์ฑ์์ ์ฌ์ฉ๋๋ ํ์ฐ ํ๋ฅ ๋ชจ๋ธ(Diffusion Probabilistic Model)์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ค. ์ด๋ฏธ์ง ์์ฑ์์๋ ๋
ธ์ด์ฆ๋ฅผ ์ ์ง์ ์ผ๋ก ์ ๊ฑฐํ์ฌ ์ ๋ช
ํ ์ด๋ฏธ์ง๋ฅผ ์ป๋ ๋ฐฉ์์ธ๋ฐ, ์ด๋ฅผ ์ธ์ด ๋ชจ๋ธ์ ์ ์ฉํ๋ฉด ๋ถ์์ ํ ๋ฌธ์ฅ์์ ์ ์ง์ ์ผ๋ก ๋ฌธ๋งฅ์ ๋ณด์ํ๊ฑฐ๋, ๋๋คํ ๋
ธ์ด์ฆ ์ํ์์ ์ ์ง์ ์ผ๋ก ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ์ ์์ฑํ๋ ๋ฐฉ์์ผ๋ก ๋์ํ๋ค. ๊ธฐ๋ณธ์ ์ธ ์๋ฆฌ๋ ๋ค์๊ณผ ๊ฐ๋ค: ์ ๋ฐฉ ํ์ฐ ๊ณผ์ (Forward Diffusion Process) ์ฃผ์ด์ง ๋ฌธ์ฅ์ ์ ์ง์ ์ผ๋ก ๋
ธ์ด์ฆ๋ฅผ ์ถ๊ฐํ์ฌ ๋ฌธ์ฅ์ ์๊ณกํ๋ค. ์ด ๊ณผ์ ์ ์ฌ๋ฌ ๋จ๊ณ ๊ฑฐ์น๋ฉด์ ์๋ณธ ๋ฌธ์ฅ๊ณผ์ ๊ด๊ณ๋ฅผ ํ์ตํ๋ค. ์ญ๋ฐฉ ํ์ฐ ๊ณผ์ (Reverse Diffusion Process) ๋
ธ์ด์ฆ๊ฐ ๊ฐ๋ํ ์ํ์์ ์ ์ง์ ์ผ๋ก ์๋ ๋ฌธ์ฅ์ ๋ณต์ํ๋๋ก ํ๋ จํ๋ค. ์ต์ข
์ ์ผ๋ก ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ์ ์์ฑํ ์ ์๋๋ก ํ์ตํ๋ค. ํน์ง ์์ฐจ์ ์์ฑ ๋ฐฉ์์ ๋ฒ์ด๋ ๋ชจ๋ธ ๊ธฐ์กด์ GPT ๊ณ์ด ๋ชจ๋ธ์ ์ผ์ชฝ์์ ์ค๋ฅธ์ชฝ์ผ๋ก ์์ฐจ์ ์ผ๋ก ๋จ์ด๋ฅผ ์์ฑํ๋ ๋ฐฉ์(autoregressive ๋ฐฉ์)์ด์ง๋ง, DLLM์ ๋ณ๋ ฌ์ ์ผ๋ก ๋ฌธ์ฅ์ ๊ตฌ์ฑํ ์ ์๋ค. ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ ๋ณต์ ๋ฐ ํธ์ง ๋ฅ๋ ฅ ๋ถ์์ ํ ๋ฌธ์ฅ์์ ์์ฐ์ค๋ฝ๊ฒ ๋จ์ด๋ฅผ ์ฑ์ฐ๋ ๊ธฐ๋ฅ์ด ๊ฐํ๋์ด, ํ
์คํธ ๋ณต์์ด๋ ์คํ์ผ ๋ณํ ๋ฑ์ ์์
์ ๊ฐ์ ์ ๊ฐ์ง๋ค. ํ๋ฅ ์ ์์ฑ ๋ฐฉ์์ ๋ค์์ฑ ์ ๊ณต ๋์ผํ ์
๋ ฅ์ ์ฃผ์ด๋ ๋ค์ํ ๋ฌธ์ฅ์ ์์ฑํ ์ ์๋ ๋ฅ๋ ฅ์ด ๋ฐ์ด๋๋ฉฐ, ์คํ์ผ์ด๋ ๋ฌธ์ฒด๋ฅผ ์ฝ๊ฒ ์กฐ์ ํ ์ ์๋ค. ์์ฉ ๋ถ์ผ ์์ฐ์ด ์์ฑ(NLG, Natural Language Generation) :์ฐฝ์์ ์ธ ๋ฌธ์ฅ ์์ฑ ๋ฐ ๋ค์ํ ํํ ๊ฐ๋ฅ
- yuli
Mar 28, 2025