Daily Arxiv

์ „ ์„ธ๊ณ„์—์„œ ๋ฐœ๊ฐ„๋˜๋Š” ์ธ๊ณต์ง€๋Šฅ ๊ด€๋ จ ๋…ผ๋ฌธ์„ ์ •๋ฆฌํ•˜๋Š” ํŽ˜์ด์ง€ ์ž…๋‹ˆ๋‹ค.
๋ณธ ํŽ˜์ด์ง€๋Š” Google Gemini๋ฅผ ํ™œ์šฉํ•ด ์š”์•ฝ ์ •๋ฆฌํ•˜๋ฉฐ, ๋น„์˜๋ฆฌ๋กœ ์šด์˜ ๋ฉ๋‹ˆ๋‹ค.
๋…ผ๋ฌธ์— ๋Œ€ํ•œ ์ €์ž‘๊ถŒ์€ ์ €์ž ๋ฐ ํ•ด๋‹น ๊ธฐ๊ด€์— ์žˆ์œผ๋ฉฐ, ๊ณต์œ  ์‹œ ์ถœ์ฒ˜๋งŒ ๋ช…๊ธฐํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค.

NCSAM Noise-Compensated Sharpness-Aware Minimization for Noisy Label Learning

Created by
  • Haebom
Category
Empty

์ €์ž

Jiayu Xu, Junbiao Pang

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋”ฅ๋Ÿฌ๋‹์—์„œ ํ”ํžˆ ๋ฐœ์ƒํ•˜๋Š” ๋…ธ์ด์ฆˆ๊ฐ€ ์žˆ๋Š” ๋ ˆ์ด๋ธ” ํ•™์Šต ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๊ธฐ์กด์˜ ๋ ˆ์ด๋ธ” ๋ณด์ • ๋ฐฉ์‹๊ณผ ๋‹ฌ๋ฆฌ, ๋…ผ๋ฌธ์€ ์†์‹ค ํ•จ์ˆ˜์˜ ํ‰ํƒ„๋„(flatness)์™€ ๋ ˆ์ด๋ธ” ๋…ธ์ด์ฆˆ ๊ฐ„์˜ ์ด๋ก ์  ๊ด€๊ณ„๋ฅผ ๊ทœ๋ช…ํ•˜๊ณ , ์˜๋„์ ์œผ๋กœ ์‹œ๋ฎฌ๋ ˆ์ด์…˜๋œ ๋…ธ์ด์ฆˆ๊ฐ€ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ๊ณผ ๋…ธ์ด์ฆˆ์— ๋Œ€ํ•œ ๊ฐ•๊ฑด์„ฑ์„ ํ–ฅ์ƒ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์„ ์ด๋ก ์ ์œผ๋กœ ์ฆ๋ช…ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ Sharpness-Aware Minimization(SAM)์˜ ์„ญ๋™(perturbation)์„ ํ™œ์šฉํ•˜์—ฌ ๋…ธ์ด์ฆˆ๋กœ ์ธํ•œ ์†์ƒ์„ ๋ณด์™„ํ•˜๋Š” Noise-Compensated Sharpness-aware Minimization(NCSAM)์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋…ธ์ด์ฆˆ๊ฐ€ ์žˆ๋Š” ๋ ˆ์ด๋ธ” ํ•™์Šต์—์„œ ์†์‹ค ํ•จ์ˆ˜์˜ ํ‰ํƒ„๋„์™€ ๋ ˆ์ด๋ธ” ๋…ธ์ด์ฆˆ ๊ฐ„์˜ ์ƒˆ๋กœ์šด ์ด๋ก ์  ์—ฐ๊ฒฐ์„ฑ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
โ€ข
์˜๋„์ ์ธ ๋…ธ์ด์ฆˆ ์ฃผ์ž…์ด ๋ชจ๋ธ์˜ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ๊ณผ ๋…ธ์ด์ฆˆ์— ๋Œ€ํ•œ ๊ฐ•๊ฑด์„ฑ์„ ๋™์‹œ์— ํ–ฅ์ƒ์‹œํ‚ฌ ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
โ€ข
NCSAM ๋ฐฉ๋ฒ•๋ก ์ด ๋‹ค์–‘ํ•œ ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ์…‹์—์„œ ๊ธฐ์กด ์ตœ์ฒจ๋‹จ ๊ธฐ๋ฒ•๋“ค๋ณด๋‹ค ์ผ๊ด€๋˜๊ฒŒ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์ž„์„ ์‹คํ—˜์ ์œผ๋กœ ์ž…์ฆํ–ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
์ œ์•ˆ๋œ ๋ฐฉ๋ฒ•์˜ ์ด๋ก ์  ๋ถ„์„์ด ์ผ๋ฐ˜์ ์ธ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์— ์–ด๋–ป๊ฒŒ ์ ์šฉ๋  ์ˆ˜ ์žˆ๋Š”์ง€, ๋˜๋Š” ํŠน์ • ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜์— ํŠนํ™”๋œ ํšจ๊ณผ๊ฐ€ ์žˆ๋Š”์ง€์— ๋Œ€ํ•œ ์ถ”๊ฐ€์ ์ธ ํƒ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘