Sign In

Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search

Created by
  • Haebom
Category
Empty

μ €μž

Zhen Liu, Yuhan Liu, Jinjun Wang, Wei Song, Jianyi Liu, Jingwen Fu

πŸ’‘ κ°œμš”

λ³Έ 논문은 신경망 ꡬ쑰 탐색(NAS)μ—μ„œ κ³ λΉ„μš©μ˜ 평가 ν™˜κ²½μ—μ„œ μƒˆλ‘œμš΄ 섀계λ₯Ό νƒμƒ‰ν•˜λ©΄μ„œ 기쑴의 ꡬ쑰적 지식을 ν†΅ν•©ν•˜λŠ” 핡심 과제λ₯Ό λ‹€λ£Ήλ‹ˆλ‹€. LLM은 ν’λΆ€ν•œ ꡬ쑰 및 μ½”λ”© 사전 지식을 μ‹€ν–‰ κ°€λŠ₯ν•œ μ½”λ“œ μˆ˜μ •μœΌλ‘œ λ³€ν™˜ν•  수 μžˆμ–΄ NAS에 μœ μš©ν•œ μ‘°λ ₯μžκ°€ 될 수 μžˆμŠ΅λ‹ˆλ‹€. κ·ΈλŸ¬λ‚˜ μ‹€μ œλ‘œλŠ” μž‘μ€ μˆ˜μ •λ„ μ˜λ„μΉ˜ μ•Šκ²Œ κΈ°λŠ₯적 μš”μΈλ“€μ˜ λ³΅μž‘ν•œ μƒν˜Έμž‘μš©μ„ μ•ΌκΈ°ν•˜μ—¬ λΉ„κ΅­μ†Œμ μΈ μ„±λŠ₯ λ³€ν™”λ₯Ό μΌμœΌν‚€λŠ” 'κΈ°λŠ₯적 μ–½νž˜' ν˜„μƒμ΄ λ°œμƒν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 기반 NASμ—μ„œ λ°œμƒν•˜λŠ” 'κΈ°λŠ₯적 μ–½νž˜' 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, μˆ˜μ •ν•  κΈ°λŠ₯적 μš”μ†Œλ₯Ό λͺ…μ‹œμ μœΌλ‘œ μ„ νƒν•˜κ³  ν•΄λ‹Ή μš”μ†Œλ₯Ό 쑰건으둜 νŽΈμ§‘μ„ μ§„ν–‰ν•˜λŠ” 'SPARK' 방법둠을 μ œμ•ˆν•©λ‹ˆλ‹€.
β€’
SPARKλŠ” κΈ°λŠ₯적 μ–½νž˜μœΌλ‘œ μΈν•œ λΆ€μž‘μš©μ„ 쀄이고, 더 ν‘œμ ν™”λ˜κ³  μ‹ λ’°ν•  수 μžˆλŠ” ꡬ쑰 μˆ˜μ •μœΌλ‘œ μƒ˜ν”Œ νš¨μœ¨μ„±μ„ 28.1λ°° 높이고 OOD 정확도λ₯Ό 22.9% ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ SPARK 방법둠이 νŠΉμ • NAS λ²€μΉ˜λ§ˆν¬μ—μ„œ μš°μˆ˜ν•œ μ„±λŠ₯을 λ³΄μ˜€μ§€λ§Œ, λ‹€μ–‘ν•œ NAS 문제 및 LLM과의 톡합 μ‹œλ‚˜λ¦¬μ˜€μ— λŒ€ν•œ μΌλ°˜ν™” κ°€λŠ₯성을 μΆ”κ°€μ μœΌλ‘œ 검증할 ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage