Sign In

Quantifying the Accuracy and Cost Impact of Design Decisions in Budget-Constrained Agentic LLM Search

Created by
  • Haebom
Category
Empty

μ €μž

Kyle McCleary, James Ghawaly

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” μ˜ˆμ‚° μ œμ•½μ΄ μžˆλŠ” μ—μ΄μ „νŠΈ 기반 LLM 검색 μ‹œμŠ€ν…œμ—μ„œ 섀계 결정이 정확도와 λΉ„μš©μ— λ―ΈμΉ˜λŠ” 영ν–₯을 μ •λŸ‰μ μœΌλ‘œ λΆ„μ„ν•©λ‹ˆλ‹€. 검색 깊이, 검색 μ „λž΅, μ™„λ£Œ 토큰 μ˜ˆμ‚°μ΄ 정확도와 λΉ„μš©μ— λ―ΈμΉ˜λŠ” 영ν–₯을 μΈ‘μ •ν•˜κΈ° μœ„ν•΄ λͺ¨λΈμ— ꡬ애받지 μ•ŠλŠ” 평가 도ꡬ인 μ˜ˆμ‚° μ œμ•½ μ—μ΄μ „νŠΈ 검색(BCAS)을 κ°œλ°œν•˜κ³ , μ—¬λŸ¬ LLMκ³Ό QA λ²€μΉ˜λ§ˆν¬μ— 걸쳐 비ꡐ μ‹€ν—˜μ„ μˆ˜ν–‰ν–ˆμŠ΅λ‹ˆλ‹€. κ·Έ κ²°κ³Ό, μ•½κ°„μ˜ 검색 깊이 증가가 정확도λ₯Ό ν–₯μƒμ‹œν‚€κ³ , ν•˜μ΄λΈŒλ¦¬λ“œ 검색 μ „λž΅μ΄ κ°€μž₯ 큰 μ„±λŠ₯ ν–₯상을 κ°€μ Έμ™”μœΌλ©°, HotpotQA와 같은 볡합적인 μ§ˆλ¬Έμ—λŠ” 더 큰 μ™„λ£Œ 토큰 μ˜ˆμ‚°μ΄ μœ μš©ν•˜λ‹€λŠ” 것을 λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ˜ˆμ‚° μ œμ•½ ν•˜μ—μ„œ μ—μ΄μ „νŠΈ 기반 LLM 검색 μ‹œμŠ€ν…œμ˜ 섀계 선택이 정확도와 λΉ„μš©μ— λ―ΈμΉ˜λŠ” 영ν–₯을 μ²΄κ³„μ μœΌλ‘œ 이해할 수 μžˆλŠ” κΈ°λ°˜μ„ μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
검색 깊이, 검색 μ „λž΅, μ™„λ£Œ 토큰 μ˜ˆμ‚° λ“± μ£Όμš” 섀계 λ³€μˆ˜μ— λŒ€ν•œ ꡬ체적인 μ„±λŠ₯ 기여도λ₯Ό νŒŒμ•…ν•˜μ—¬ μ‹€μ œ μ‹œμŠ€ν…œ ꡬ성에 λŒ€ν•œ μ‹€μ§ˆμ μΈ κ°€μ΄λ“œλΌμΈμ„ μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” νŠΉμ • LLM, QA 벀치마크, μ˜ˆμ‚° μ œμ•½ 섀정에 κ΅­ν•œλ  수 있으며, λ‹€μ–‘ν•œ λ³΅μž‘μ„±μ˜ μ‹€μ œ μž‘μ—… ν™˜κ²½μ—μ„œμ˜ μΌλ°˜ν™” κ°€λŠ₯성은 좔가적인 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage