Sign In

Quantitative Certification of Agentic Tool Selection

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Jehyeok Yeon, Isha Chaudhary, Gagandeep Singh

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ™ΈλΆ€ 도ꡬ 선택 μ‹œ λ°œμƒν•˜λŠ” 였λ₯˜λ‘œ μΈν•œ μ‹¬κ°ν•œ μ•ˆμ „ 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ LLM μ—μ΄μ „νŠΈμ˜ 도ꡬ 선택 νŒŒμ΄ν”„λΌμΈμ— λŒ€ν•œ 톡계적 μ•ˆμ „ 인증 ν”„λ ˆμž„μ›Œν¬μΈ LLMCert-Tλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. LLMCert-TλŠ” μ‹€μ œ ν™˜κ²½μ—μ„œ λ°œμƒν•  수 μžˆλŠ” 도ꡬ 뢄포λ₯Ό κ³ λ €ν•˜μ—¬, μ•ˆμ „ 사양을 λ§Œμ‘±ν•  ν™•λ₯ μ— λŒ€ν•œ 신뒰도 높은 μƒν•œκ°’μ„ μ œκ³΅ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 λͺ¨λΈ, 검색기, μ™„ν™” 기법 및 등둝 μ •μ±… μ „λ°˜μ— 걸쳐 직관적이고 μ‹€ν–‰ κ°€λŠ₯ν•˜λ©° 비ꡐ κ°€λŠ₯ν•œ μ•ˆμ „ μ£Όμž₯을 ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ•ˆμ „ 인증의 ν•„μš”μ„± κ°•μ‘°: 기쑴의 벀치마크 기반 ν‰κ°€λ‘œλŠ” μ‹€μ œ 배포 ν™˜κ²½μ—μ„œ λ°œμƒν•  수 μžˆλŠ” 도ꡬ 선택 였λ₯˜μ˜ μœ„ν—˜μ„ μΆ©λΆ„νžˆ μΈ‘μ •ν•  수 μ—†μŒμ„ 보여주며, 톡계적 보증을 μ œκ³΅ν•˜λŠ” 인증 ν”„λ ˆμž„μ›Œν¬μ˜ μ€‘μš”μ„±μ„ λΆ€κ°ν•©λ‹ˆλ‹€.
β€’
ν˜„μ‹€μ μΈ 도ꡬ 뢄포 κ³ λ €: 도ꡬ 풀이 제3μžμ— μ˜ν•΄ 영ν–₯을 λ°›λŠ” μ‹€μ œ ν™˜κ²½μ„ λͺ¨λ°©ν•˜κΈ° μœ„ν•΄, 이전 λΌμš΄λ“œμ˜ 선택에 따라 λ‹€μŒ λΌμš΄λ“œμ˜ 도ꡬ μ‚½μž…μ΄ κ²°μ •λ˜λŠ” ν™•λ₯ μ  과정을 μ‚¬μš©ν•¨μœΌλ‘œμ¨ κΈ°μ‘΄ μ—°κ΅¬μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•©λ‹ˆλ‹€.
β€’
ν˜„μž¬ LLM μ—μ΄μ „νŠΈμ˜ μ·¨μ•½μ„± 발견: μ œμ•ˆλœ ν”„λ ˆμž„μ›Œν¬λ₯Ό 톡해 인기 μžˆλŠ” 도ꡬ ν’€μ—μ„œ LLM μ—μ΄μ „νŠΈκ°€ νŠΉμ • μ•ˆμ „ 사양(Distractor Selection, Top-N Saturation) ν•˜μ—μ„œ μ•½ 20% μˆ˜μ€€μœΌλ‘œ 인증된 정확도 μƒν•œμ΄ λ–¨μ–΄μ§€λŠ” λ“± 취약함을 λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
ν•œκ³„μ  λ˜λŠ” ν–₯ν›„ 과제: LLMCert-TλŠ” "μ‚½μž…λœ 도ꡬ μ‹œν€€μŠ€ 뢄포" ν•˜μ—μ„œ μž‘λ™ν•˜μ§€λ§Œ, μ‹€μ œ λ°°ν¬μ—μ„œ 도ꡬ ν’€μ˜ λ‹€μ–‘μ„±κ³Ό 동적인 λ³€ν™”λ₯Ό μ–Όλ§ˆλ‚˜ μ™„λ²½ν•˜κ²Œ 포착할 수 μžˆλŠ”μ§€μ— λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•˜λ©°, 계산 λ³΅μž‘μ„±μ„ 쀄이기 μœ„ν•œ μ΅œμ ν™” λ°©μ•ˆλ„ 고렀될 수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage