Sign In

AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM

Created by
  • Haebom
Category
Empty

μ €μž

Haoyu Huang, Hong Ting Tsang, Jiaxin Bai, Xi Peng, Gong Zhang, Yangqiu Song

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM의 μ™ΈλΆ€ 지식 ν™œμš© 방식을 κ°œμ„ ν•˜κΈ° μœ„ν•΄ μ΄ˆλŒ€κ·œλͺ¨ 지식 κ·Έλž˜ν”„(KG)λ₯Ό 20GB VRAM λ‚΄μ—μ„œ ν†΅ν•©ν•˜λŠ” μƒˆλ‘œμš΄ 방법둠인 AtlasKVλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. AtlasKVλŠ” κΈ°μ‘΄ RAG λ°©μ‹μ˜ 검색 지연 및 κΈ΄ λ¬Έλ§₯ μ˜μ‘΄μ„± 문제λ₯Ό ν•΄κ²°ν•˜λ©°, LLM 자체의 μ–΄ν…μ…˜ λ©”μ»€λ‹ˆμ¦˜μ„ ν™œμš©ν•˜μ—¬ KG 지식을 νŒŒλΌλ©”νŠΈλ¦­ν•˜κ²Œ ν†΅ν•©ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 LLM은 λ³„λ„μ˜ 검색기 없이도 κ°•λ ₯ν•œ 지식 기반 μ„±λŠ₯κ³Ό μΌλ°˜ν™” λŠ₯λ ₯을 λ‹¬μ„±ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
효율적인 μ΄ˆλŒ€κ·œλͺ¨ 지식 톡합: μ œν•œλœ GPU λ©”λͺ¨λ¦¬ ν™˜κ²½μ—μ„œλ„ μˆ˜μ‹­μ–΅ 개의 νŠΈλ¦¬ν”Œμ„ ν¬ν•¨ν•˜λŠ” μ΄ˆλŒ€κ·œλͺ¨ 지식 κ·Έλž˜ν”„λ₯Ό LLM에 톡합할 수 μžˆλŠ” μ‹€μ§ˆμ μΈ κ°€λŠ₯성을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
RAG의 λŒ€μ•ˆ μ œμ‹œ: μ™ΈλΆ€ 검색 λͺ¨λ“ˆ 및 κΈ΄ λ¬Έλ§₯의 ν•„μš”μ„±μ„ μ œκ±°ν•¨μœΌλ‘œμ¨ μΆ”λ‘  지연 μ‹œκ°„μ„ 크게 쀄이고, LLM의 νŒŒλΌλ©”νŠΈλ¦­ λ°©μ‹μœΌλ‘œ 지식을 λ‚΄μž¬ν™”ν•˜λŠ” μƒˆλ‘œμš΄ μ ‘κ·Ό 방식을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μƒˆλ‘œμš΄ 지식 적응 μš©μ΄μ„±: μƒˆλ‘œμš΄ 지식 μŠ΅λ“ μ‹œ LLM μž¬ν•™μŠ΅μ΄ ν•„μš” μ—†μœΌλ―€λ‘œ, 동적인 지식 변화에 λŒ€ν•œ λͺ¨λΈ 적응성을 높일 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
KG2KV 및 HiKVP의 λ³΅μž‘μ„± 및 μΌλ°˜ν™”: μ œμ•ˆλœ KG2KV 및 HiKVP λ°©μ‹μ˜ μ‹€μ œ κ΅¬ν˜„ 및 ν™•μž₯성에 λŒ€ν•œ 좔가적인 연ꡬ와, λ‹€μ–‘ν•œ μ’…λ₯˜μ˜ 지식 κ·Έλž˜ν”„μ— λŒ€ν•œ μΌλ°˜ν™” μ„±λŠ₯ 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage