Sign In

Active Learners as Efficient PRP Rerankers

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Jeremias Figueiredo Paschmann, Juan Kaplan, Francisco Nattero, Santiago Barron, Juan Wisznia, Luciano del Corro

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM의 μŒλ³„ μ„ ν˜Έλ„ νŒλ‹¨μ„ ν™œμš©ν•˜λŠ” Pairwise Ranking Prompting(PRP)의 단점을 κ·Ήλ³΅ν•˜κΈ° μœ„ν•΄, 이λ₯Ό λ…Έμ΄μ¦ˆκ°€ ν¬ν•¨λœ μŒλ³„ λΉ„κ΅λ‘œλΆ€ν„° ν•™μŠ΅ν•˜λŠ” ν™œμ„± ν•™μŠ΅(active learning) 문제둜 μž¬μ •μ˜ν–ˆμŠ΅λ‹ˆλ‹€. μ œμ•ˆλœ ν™œμ„± ν•™μŠ΅ ν”„λ ˆμž„μ›Œν¬λŠ” μ œν•œλœ 호좜 μ˜ˆμ‚° ν•˜μ—μ„œ 더 λ‚˜μ€ NDCG@10 μ„±λŠ₯을 μ œκ³΅ν•˜λ©°, λ…Έμ΄μ¦ˆμ— κ°•κ±΄ν•œ νŠΉμ§•μ„ κ°€μ§‘λ‹ˆλ‹€. λ˜ν•œ, 단일 LLM 호좜둜 μœ„μΉ˜ 편ν–₯을 μ˜ν‰κ·  λ…Έμ΄μ¦ˆλ‘œ λ³€ν™˜ν•˜λŠ” λ¬΄μž‘μœ„ λ°©ν–₯ μ˜€λΌν΄μ„ λ„μž…ν•˜μ—¬ 편ν–₯ μ—†λŠ” 집계 λž­ν‚Ήμ„ κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν™œμ„± ν•™μŠ΅ μ ‘κ·Ό 방식을 톡해 LLM 기반 λž­ν‚Ή μ‹œμŠ€ν…œμ˜ νš¨μœ¨μ„±κ³Ό 정확성을 κ°œμ„ ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ…Έμ΄μ¦ˆ 강건 ν”„λ ˆμž„μ›Œν¬λŠ” μ‹€μ œ LLM μ‘λ‹΅μ˜ λΆˆν™•μ‹€μ„±μ„ 효과적으둜 λ‹€λ£° 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ¬΄μž‘μœ„ λ°©ν–₯ μ˜€λΌν΄μ€ 좔가적인 LLM 호좜 λΉ„μš© 없이 μœ„μΉ˜ 편ν–₯ 문제λ₯Ό μ™„ν™”ν•˜λŠ” μƒˆλ‘œμš΄ 방법을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ‹€ν—˜μ μœΌλ‘œ κ²€μ¦λœ μ„±λŠ₯ ν–₯상이 μžˆμ§€λ§Œ, λ‹€μ–‘ν•œ LLM λͺ¨λΈ 및 도메인에 λŒ€ν•œ μΌλ°˜ν™” κ°€λŠ₯성은 μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage