Sign In

Quantum-enhanced Large Language Models on Quantum Hardware via Cayley Unitary Adapters

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Borja Aizpurua, Sukhbinder Singh, Augustine Kshetrimayum, Saeed S. Jahromi, Roman Orus

πŸ’‘ κ°œμš”

λ³Έ 논문은 고전적 λ©”λͺ¨λ¦¬ μ œμ•½μ„ κ·Ήλ³΅ν•˜κΈ° μœ„ν•΄ μ–‘μž μ»΄ν“¨νŒ…μ„ ν™œμš©ν•œ λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 μ„±λŠ₯ ν–₯상 λ°©μ•ˆμ„ μ œμ‹œν•©λ‹ˆλ‹€. 특히, 미리 ν›ˆλ ¨λœ LLM의 κ³ μ •λœ 투영 계측에 μ‚½μž…λ˜λŠ” Cayley λ§€κ°œλ³€μˆ˜ν™”λœ μœ λ‹ˆν„°λ¦¬ μ–΄λŒ‘ν„°(unitary adapters)λ₯Ό μ œμ•ˆν•˜κ³ , 이λ₯Ό IBM μ–‘μž ν•˜λ“œμ›¨μ–΄μ—μ„œ μ‹€ν–‰ν•˜μ—¬ Llama 3.1 8B λͺ¨λΈμ˜ λ³΅μž‘λ„(perplexity)λ₯Ό 1.4% κ°œμ„ ν•˜λŠ” μ„±κ³Όλ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€. λ˜ν•œ, SmolLM2 λͺ¨λΈμ— λŒ€ν•œ μ‹€ν—˜μ„ 톡해 μœ λ‹ˆν„°λ¦¬ 블둝 차원 증가에 λ”°λ₯Έ λ³΅μž‘λ„ κ°μ†Œ, μ••μΆ•μœΌλ‘œ μΈν•œ μ„±λŠ₯ μ €ν•˜ 볡ꡬ, 그리고 고전적 λͺ¨λΈμ΄ μ‹€νŒ¨ν•˜λŠ” μ§ˆλ¬Έμ— λŒ€ν•œ μ •λ‹΅λ₯  ν–₯상을 ν™•μΈν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ–‘μž 회둜λ₯Ό LLM에 ν†΅ν•©ν•˜μ—¬ μ œν•œλœ νŒŒλΌλ―Έν„° μΆ”κ°€λ‘œλ„ μ„±λŠ₯을 ν–₯μƒμ‹œν‚¬ 수 μžˆλŠ” κ°€λŠ₯성을 λ³΄μ—¬μ£Όμ—ˆμŠ΅λ‹ˆλ‹€.
β€’
μ‹€μ œ μ–‘μž ν•˜λ“œμ›¨μ–΄μ—μ„œ LLM의 좔둠을 κ²€μ¦ν•¨μœΌλ‘œμ¨ μ–‘μž μ»΄ν“¨νŒ…μ˜ μ‹€μš©μ μΈ 적용 κ°€λŠ₯성을 μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€.
β€’
작음과 ν‘œν˜„λ ₯ κ°„μ˜ 상전이(phase transition)λ₯Ό ν™•μΈν•¨μœΌλ‘œμ¨ ν–₯ν›„ 더 큰 규λͺ¨μ˜ μ–‘μž μœ μš©μ„±μ„ λ‹¬μ„±ν•˜κΈ° μœ„ν•œ ꡬ체적인 경둜λ₯Ό μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€.
β€’
ν˜„μž¬ μ‹€ν—˜μ€ 비ꡐ적 μž‘μ€ 규λͺ¨μ˜ λͺ¨λΈκ³Ό ν•˜λ“œμ›¨μ–΄μ—μ„œ μˆ˜ν–‰λ˜μ—ˆμœΌλ―€λ‘œ, λŒ€κ·œλͺ¨ LLMκ³Ό 더 λ³΅μž‘ν•œ μ–‘μž ν•˜λ“œμ›¨μ–΄μ—μ„œμ˜ 적용 κ°€λŠ₯μ„± 및 μ„±λŠ₯ ν™•μž₯은 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage