Sign In

TRACER: Trajectory Risk Aggregation for Critical Episodes in Agentic Reasoning

Created by
  • Haebom
Category
Empty

μ €μž

Sina Tayebati, Divake Kumar, Nastaran Darabi, Davide Ettori, Ranganath Krishnan, Amit Ranjan Trivedi

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” AI μ—μ΄μ „νŠΈκ°€ μ‹€μ œ ν™˜κ²½μ—μ„œ 인간과 닀쀑 ν„΄ 도ꡬ μ‚¬μš© μƒν˜Έμž‘μš© μ‹œ λ°œμƒν•˜λŠ” λΆˆν™•μ‹€μ„±μ„ μΆ”μ •ν•˜λŠ” 데 λ”°λ₯΄λŠ” 어렀움에 μ£Όλͺ©ν•©λ‹ˆλ‹€. 기쑴의 λΆˆν™•μ‹€μ„± μΆ”μ • 방법둠은 단일 ν„΄ ν…μŠ€νŠΈ 생성에 κ΅­ν•œλ˜μ–΄, 순차적인 κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” 치λͺ…적인 μ‹€νŒ¨ 징후λ₯Ό λ†“μΉ˜λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κ³ μž ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ μ €μžλ“€μ€ μ½˜ν…μΈ  인지적 λ†€λžŒλ„, 상황 인식 μ‹ ν˜Έ, λ°˜λ³΅μ„±, 도ꡬ μ—°κ΄€ 뢈일치 등을 μ’…ν•©ν•˜μ—¬ ꢀ적 μˆ˜μ€€μ˜ μœ„ν—˜μ„ μ§‘κ³„ν•˜λŠ” TRACERλΌλŠ” μƒˆλ‘œμš΄ 방법둠을 μ œμ•ˆν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ³΅μž‘ν•œ λŒ€ν™”ν˜• 도ꡬ μ‚¬μš© ν™˜κ²½μ—μ„œ AI μ—μ΄μ „νŠΈμ˜ ꢀ적 μˆ˜μ€€ λΆˆν™•μ‹€μ„±μ„ 효과적으둜 탐지할 수 μžˆλŠ” μƒˆλ‘œμš΄ μΈ‘μ • μ§€ν‘œ TRACERλ₯Ό μ œμ‹œν•©λ‹ˆλ‹€.
β€’
TRACERλŠ” κΈ°μ‘΄ 단일 ν„΄ 기반 방법둠 λŒ€λΉ„ ν–₯μƒλœ AUROC 및 AUARC μ„±λŠ₯을 보여, AI μ—μ΄μ „νŠΈμ˜ 잠재적 μ‹€νŒ¨λ₯Ό 더 λΉ λ₯΄κ³  μ •ν™•ν•˜κ²Œ μ˜ˆμΈ‘ν•  수 μžˆλŠ” κ°€λŠ₯성을 μ—΄μ—ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법둠은 νŠΉμ • 데이터셋($\tau^2$-bench)μ—μ„œ ν‰κ°€λ˜μ—ˆμœΌλ―€λ‘œ, λ‹€μ–‘ν•œ 도ꡬ 및 μƒν˜Έμž‘μš© μ‹œλ‚˜λ¦¬μ˜€μ— λŒ€ν•œ μΌλ°˜ν™” μ„±λŠ₯ 검증 및 좔가적인 κ°œμ„ μ΄ ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage