Sign In

TAPIOCA: Why Task- Aware Pruning Improves OOD model Capability

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Krish Sharma, Omar Naim, Soumadeep Saha, Vinija Jain, Aman Chadha, Nicholas Asher

πŸ’‘ κ°œμš”

λ³Έ 논문은 μž‘μ—… 인지적 λ ˆμ΄μ–΄ κ°€μ§€μΉ˜κΈ°(task-aware layer pruning)κ°€ νŠΉμ • μž‘μ—…μ— λŒ€ν•œ λͺ¨λΈ μ„±λŠ₯ ν–₯상에 κΈ°μ—¬ν•œλ‹€λŠ” κΈ°μ‘΄ 연ꡬ에 λŒ€ν•΄, μ΄λŸ¬ν•œ κ°œμ„ μ΄ μ–Έμ œ λ°œμƒν•˜κ³  μ™œ λ°œμƒν•˜λŠ”μ§€μ— λŒ€ν•œ 근본적인 원인을 νƒκ΅¬ν•©λ‹ˆλ‹€. 연ꡬ κ²°κ³Ό, μž‘μ—… 인지적 κ°€μ§€μΉ˜κΈ°λŠ” 정상 뢄포(in-distribution, ID) λ°μ΄ν„°μ—μ„œλŠ” 이득이 μ—†μœΌλ‚˜, 비정상 뢄포(out-of-distribution, OOD) λ°μ΄ν„°μ—μ„œλŠ” μΌκ΄€λ˜κ²Œ 정확도λ₯Ό ν–₯μƒμ‹œν‚€λŠ” κ²ƒμœΌλ‘œ λ‚˜νƒ€λ‚¬μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μž‘μ—… 인지적 κ°€μ§€μΉ˜κΈ°λŠ” ID 데이터가 μ•„λ‹Œ OOD 데이터에 λŒ€ν•œ λͺ¨λΈμ˜ 견고성을 ν–₯μƒμ‹œν‚€λŠ” 데 νš¨κ³Όμ μž…λ‹ˆλ‹€.
β€’
OOD μž…λ ₯이 μ•ΌκΈ°ν•˜λŠ” ν‘œν˜„ κ³΅κ°„μ˜ κΈ°ν•˜ν•™μ  μ™œκ³‘μ„ μž‘μ—… 인지적 κ°€μ§€μΉ˜κΈ°κ°€ 효과적으둜 μ™„ν™”ν•˜μ—¬, OOD μž…λ ₯이 λͺ¨λΈμ˜ μž‘μ—… 적응 κΈ°ν•˜ν•™μ— 더 잘 λΆ€ν•©ν•˜λ„λ‘ μž¬μ •λ ¬ν•©λ‹ˆλ‹€.
β€’
λ‹€μ–‘ν•œ λͺ¨λΈ 규λͺ¨μ—μ„œ μΌκ΄€λœ μ„±λŠ₯ ν–₯상을 보여주며, 인과 관계λ₯Ό 증λͺ…ν•˜κΈ° μœ„ν•œ ν†΅μ œλœ μ‹€ν—˜μ„ μˆ˜ν–‰ν–ˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage