Sign In

Fine-Tuning Small Language Models for Solution-Oriented Windows Event Log Analysis

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Siraaj Akhtar, Saad Khan, Simon Parkinson

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ์—ฐ๊ตฌ๋Š” ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ๋†’์€ ์—ฐ์‚ฐ ์š”๊ตฌ์‚ฌํ•ญ, ํด๋ผ์šฐ๋“œ ์˜์กด์„ฑ, ๋ณด์•ˆ ๋ฌธ์ œ ๋“ฑ์„ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ์†Œ๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(SLM)์„ Windows ์ด๋ฒคํŠธ ๋กœ๊ทธ ๋ถ„์„์— ํ™œ์šฉํ•˜๋Š” ๋ฐฉ์•ˆ์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์‹ค์ œ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๋ฐ˜์˜ํ•œ ๋Œ€๊ทœ๋ชจ ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ์…‹์„ ๊ตฌ์ถ•ํ•˜๊ณ , LoRA ๊ธฐ๋ฒ•์œผ๋กœ SLM๊ณผ LLM์„ ๋ฏธ์„ธ ์กฐ์ •ํ•˜์—ฌ ์„ฑ๋Šฅ์„ ๋น„๊ต ํ‰๊ฐ€ํ•œ ๊ฒฐ๊ณผ, SLM์ด ๋ฌธ์ œ ์‹๋ณ„ ๋ฐ ํ•ด๊ฒฐ์ฑ… ์ œ์‹œ ์ธก๋ฉด์—์„œ LLM๋ณด๋‹ค ์šฐ์ˆ˜ํ•˜๋ฉฐ ๊ณ„์‚ฐ ์ž์› ์†Œ๋ชจ๋„ ์ ์Œ์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
SLM์€ LLM์˜ ์‹ค์งˆ์ ์ธ ๋Œ€์•ˆ์œผ๋กœ, ์ด๋ฒคํŠธ ๋กœ๊ทธ ๋ถ„์„์—์„œ ๋ฌธ์ œ ํ•ด๊ฒฐ๊นŒ์ง€ ๊ฐ€๋Šฅํ•œ ์†”๋ฃจ์…˜ ์ง€ํ–ฅ์ ์ธ ์ ‘๊ทผ์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
LoRA์™€ ๊ฐ™์€ ํŒŒ๋ผ๋ฏธํ„ฐ ํšจ์œจ์ ์ธ ๋ฏธ์„ธ ์กฐ์ • ๊ธฐ๋ฒ•์€ SLM์˜ ์„ฑ๋Šฅ์„ ํฌ๊ฒŒ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๋ฐ ํšจ๊ณผ์ ์ž…๋‹ˆ๋‹ค.
โ€ข
๋ณธ ์—ฐ๊ตฌ๋Š” ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ์…‹์„ ์‚ฌ์šฉํ–ˆ์œผ๋ฉฐ, ์‹ค์ œ ํ™˜๊ฒฝ์—์„œ์˜ LLM๊ณผ์˜ ์ง์ ‘์ ์ธ ์„ฑ๋Šฅ ๋น„๊ต ๋ฐ ๋‹ค์–‘ํ•œ ์œ ํ˜•์˜ ์ด๋ฒคํŠธ ๋กœ๊ทธ์— ๋Œ€ํ•œ ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘