Sign In

Active Testing of Large Language Models via Approximate Neyman Allocation

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Zeli Liu, Jiancheng Zhang, Cong Liu, Yinglun Zhu

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 평가 λΉ„μš©μ„ μ ˆκ°ν•˜κΈ° μœ„ν•œ λŠ₯동적 ν…ŒμŠ€νŠΈ 방법을 μ œμ•ˆν•©λ‹ˆλ‹€. κΈ°μ‘΄ λΆ„λ₯˜ μž‘μ—…μ— κ΅­ν•œλœ λŠ₯동적 ν…ŒμŠ€νŠΈμ™€ 달리, λ³Έ μ—°κ΅¬λŠ” 생성 μž‘μ—…μ— νŠΉν™”λœ μƒˆλ‘œμš΄ μ•Œκ³ λ¦¬μ¦˜μ„ κ°œλ°œν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŠ” λŒ€λ¦¬ λͺ¨λΈμ˜ 의미둠적 μ—”νŠΈλ‘œν”Όλ₯Ό ν™œμš©ν•˜μ—¬ 평가 풀을 κ³„μΈ΅ν™”ν•˜κ³ , μΆ”μΆœλœ μ‹ ν˜Έλ₯Ό 기반으둜 근사 λ‰΄λ§Œ 할당을 μˆ˜ν–‰ν•¨μœΌλ‘œμ¨ 적은 수의 μƒ˜ν”Œλ‘œλ„ 높은 μ •ν™•λ„μ˜ 평가λ₯Ό κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μƒμ„±ν˜• LLM의 평가 λΉ„μš©μ„ 효과적으둜 μ ˆκ°ν•  수 μžˆλŠ” μƒˆλ‘œμš΄ λŠ₯동 ν…ŒμŠ€νŠΈ 방법둠을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λ‹€μ–‘ν•œ μ–Έμ–΄ 및 λ©€ν‹°λͺ¨λ‹¬ λ²€μΉ˜λ§ˆν¬μ—μ„œ κΈ°μ‘΄ 방법 λŒ€λΉ„ μš°μˆ˜ν•œ μ„±λŠ₯을 보이며, 이상적인 λ‰΄λ§Œ 할당에 κ·Όμ ‘ν•˜λŠ” κ²°κ³Όλ₯Ό λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법은 λŒ€λ¦¬ λͺ¨λΈμ˜ μ„±λŠ₯κ³Ό μ‹ ν˜Έ μΆ”μΆœ 방식에 μ˜μ‘΄ν•˜λ―€λ‘œ, λŒ€λ¦¬ λͺ¨λΈμ˜ 정확도 및 μ‹ ν˜Έμ˜ μœ νš¨μ„±μ΄ 결과에 영ν–₯을 λ―ΈμΉ  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage