์ง์ ์ฆ๋ฅ Knowledge Distillation - ๐AI ํค์๋/์ฉ์ด - AI WORKERSAI ๊ธฐ์ ์ ์ฆ๋ฅ ๊ธฐ์ AI ๊ธฐ์ ์ ์ง์ ์ฆ๋ฅ(knowledge distillation)๋ ๋ชจ๋ธ์ ๊ฒฝ๋ํ์ ์ฑ๋ฅ ํฅ์์ ๋ชฉํ๋ก ํ๋ฉฐ, ํนํ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์ ๋ค๋ฃจ๋ ๋ฐ ์ ์ฉํ๋ค. ์ฆ๋ฅ๋ ๋ณต์กํ AI ๋ชจ๋ธ์ ๋ ์๊ณ ํจ์จ์ ์ธ ๋ชจ๋ธ๋ก ๋ณํํ๋ ๊ธฐ์ ์ด๋ค. ์ฆ๋ฅ ๊ธฐ์ ์ ํฐ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ์ ์งํ๋ฉด์๋ ๋ ์ ์ ์์์ ์ฌ์ฉํ๋ค. ์ฆ, ๊ฒฝ๋ํ์ ์ฑ๋ฅ ํฅ์์ ๋ชฉํ๋ก ํ๋ค. ์ฆ๋ฅ๋ ์ผ๋ฐ์ ์ผ๋ก ๋ ํฐ '๊ต์ฌ' ๋ชจ๋ธ์ ์ง์์ ๋ ์์ 'ํ์' ๋ชจ๋ธ๋ก ์ ์ดํ๋ ๊ณผ์ ์ด๋ค. ์ฆ๋ฅ์ ๊ธฐ๋ณธ ์๋ฆฌ ์ฆ๋ฅ๋ ์ผ๋ฐ์ ์ผ๋ก ๋ ๊ฐ์ง ๋ชจ๋ธ์ ์ฌ์ฉํ๋ค. ๊ต์ฌ ๋ชจ๋ธ(Teacher Model): ๋๋์ ๋ฐ์ดํฐ๋ก ํ์ต๋ ๋ณต์กํ ๋ชจ๋ธ ํ์ ๋ชจ๋ธ(Student Model): ์๋์ ์ผ๋ก ๊ฐ๋จํ๊ณ ๊ฒฝ๋ํ๋ ๋ชจ๋ธ ๊ต์ฌ ๋ชจ๋ธ์ ํ์ ๋ชจ๋ธ์ด ํ์ตํ ์ ์๋๋ก ํ์ํ ์ ๋ณด๋ฅผ ์ ๊ณตํ๊ณ , ํ์ ๋ชจ๋ธ์ ๊ต์ฌ ๋ชจ๋ธ์ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ํ์ตํ๋ค. ์ฆ๋ฅ์ ๊ณผ์ 1. ๊ต์ฌ ๋ชจ๋ธ ํ์ต ๋จผ์ , ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์ ์ฌ์ฉํ์ฌ ๊ต์ฌ ๋ชจ๋ธ์ ํ์ตํ๋ค. ์ด ๋ชจ๋ธ์ ์ ํ๋๊ฐ ๋๊ณ ๊ตฌ์กฐ๊ฐ ๋ณต์กํ๋ค. ๋จผ์ , ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์ ์ฌ์ฉํ์ฌ ๊ต์ฌ ๋ชจ๋ธ์ ํ์ตํ๋ค. ์ด ๋ชจ๋ธ์ ์ ํ๋๊ฐ ๋๊ณ ๊ตฌ์กฐ๊ฐ ๋ณต์กํ๋ค. 2. ์์ธก ๊ฒฐ๊ณผ ์์ฑ ํ์ต๋ ๊ต์ฌ ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์๋ก์ด ๋ฐ์ดํฐ์ ๋ํ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ๋ค. ์ด๋ ํ์ ๋ชจ๋ธ์ด ํ์ตํ๋ ๋ฐ ํ์ํ '์ง์'์ด ๋๋ค. ์ด ์์ธก์ ๋จ์ํ ๊ฒฐ๊ณผ๋ฟ๋ง ์๋๋ผ, ๊ฐ ์ ํ์ง์ ๋ํ ํ๋ฅ ๊ฐ์ ์ถ๊ฐ์ ์ธ ์ ๋ณด๋ ํฌํจํ๋ค. ์๋ฅผ ๋ค์ด, ๊ณ ์์ด ์ฌ์ง์ ๋ณด๊ณ "๊ณ ์์ด์ผ ํ๋ฅ 90%, ๊ฐ์ผ ํ๋ฅ 5%, ํ ๋ผ์ผ ํ๋ฅ 5%" ๊ฐ์ ์์ด๋ค. 3. ํ์ ๋ชจ๋ธ ํ์ต ํ์ ๋ชจ๋ธ์ ๊ต์ฌ ๋ชจ๋ธ์ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ์ตํ๋ค. ์ด ๊ณผ์ ์์ ํ์ ๋ชจ๋ธ์ ๊ต์ฌ ๋ชจ๋ธ์ ์ง์์ ์์ถํ์ฌ ํ๋ผ๋ฏธํฐ์ ๋ฐ์ํ๋ค. 4. ์ฑ๋ฅ ํ๊ฐ ํ์ต์ด ์๋ฃ๋ ํ, ํ์ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ํ๊ฐํ์ฌ ๊ต์ฌ ๋ชจ๋ธ๊ณผ ๋น๊ตํ๋ค. ์ผ๋ฐ์ ์ผ๋ก ํ์ ๋ชจ๋ธ์ ๊ฒฝ๋ํ๋์์์๋ ๋ถ๊ตฌํ๊ณ ์๋นํ ์ฑ๋ฅ์ ์ ์งํ๋ค. ์ฆ๋ฅ ๊ธฐ์ ์ ์๋ฆฌ