Sign In

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelbery, Haggai Maron, Muhan Zhang

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)μ—μ„œ λ‹€μ–‘ν•œ λ¬Έλ§₯ 정보λ₯Ό 효율적으둜 ν™œμš©ν•˜κΈ° μœ„ν•œ ν™•μž₯ κ°€λŠ₯ν•œ ν•˜μ΄νΌλ„€νŠΈμ›Œν¬μΈ SHINE을 μ œμ•ˆν•©λ‹ˆλ‹€. SHINE은 λ™κ²°λœ LLM의 νŒŒλΌλ―Έν„°λ₯Ό μž¬ν™œμš©ν•˜κ³  μƒˆλ‘œμš΄ μ•„ν‚€ν…μ²˜ ν˜μ‹ μ„ 톡해 적은 νŒŒλΌλ―Έν„°λ‘œλ„ κ°•λ ₯ν•œ ν‘œν˜„λ ₯을 λ‹¬μ„±ν•˜λ©°, 단일 순방ν–₯ 패슀둜 λ¬Έλ§₯ 정보λ₯Ό LoRA μ–΄λŒ‘ν„°λ‘œ λ³€ν™˜ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 LLM νŒŒλΌλ―Έν„° 자체λ₯Ό μ—…λ°μ΄νŠΈν•˜μ§€ μ•Šκ³ λ„ λ¬Έλ§₯ κ΄€λ ¨ λ³΅μž‘ν•œ μ§ˆμ˜μ‘λ‹΅ μž‘μ—…μ„ μ¦‰μ‹œ μˆ˜ν–‰ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM의 λ™κ²°λœ νŒŒλΌλ―Έν„°λ₯Ό ν™œμš©ν•˜λŠ” μƒˆλ‘œμš΄ ν•˜μ΄νΌλ„€νŠΈμ›Œν¬ μ„€κ³„λ‘œ 효율적인 λ¬Έλ§₯ 정보 톡합 및 적용이 κ°€λŠ₯ν•©λ‹ˆλ‹€.
β€’
단일 순방ν–₯ 패슀둜 λ¬Έλ§₯ 정보λ₯Ό LoRA μ–΄λŒ‘ν„°λ‘œ μƒμ„±ν•˜μ—¬ μ‹œκ°„, 계산, λ©”λͺ¨λ¦¬ λΉ„μš©μ„ 크게 μ ˆκ°ν•©λ‹ˆλ‹€.
β€’
λ¬Έλ§₯에 직접 μ ‘κ·Όν•˜μ§€ μ•Šκ³ λ„ κ΄€λ ¨ μ§ˆμ˜μ‘λ‹΅μ„ μˆ˜ν–‰ν•˜λŠ” λŠ₯λ ₯은 LLM의 지식 ν™œμš© 방식을 ν˜μ‹ ν•  잠재λ ₯을 λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
λ‹€μ–‘ν•œ μž‘μ—…μ—μ„œ μš°μˆ˜ν•œ μ„±λŠ₯을 λ‹¬μ„±ν•˜λ©°, ν–₯ν›„ ν™•μž₯ κ°€λŠ₯성이 λ†’μŠ΅λ‹ˆλ‹€.
β€’
SHINE의 ν•˜μ΄νΌλ„€νŠΈμ›Œν¬ ν•™μŠ΅ νŒŒμ΄ν”„λΌμΈ 및 μ•„ν‚€ν…μ²˜μ˜ μƒμ„Έν•œ μ„€λͺ…이 더 ν•„μš”ν•˜λ©°, νŠΉμ • LLM μ•„ν‚€ν…μ²˜λ‚˜ λ¬Έλ§₯의 λ³΅μž‘μ„±μ— λ”°λ₯Έ μ„±λŠ₯ 변화에 λŒ€ν•œ 좔가적인 연ꡬ가 μš”κ΅¬λ©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage