CascadeDebate: Multi-Agent Deliberation for Cost-Aware LLM Cascades
μμ±μ
- Haebom
μΉ΄ν
κ³ λ¦¬
Empty
μ μ
Raeyoung Chang, Dongwook Kwon, Jisoo Lee, Nikhil Verma
π‘ κ°μ
λ³Έ λ
Όλ¬Έμ λΆνμ€μ± νμμ μ νλ, λΉμ©, κΈ°κΆμ κ· νμ λ§μΆκΈ° μν΄ λ€μν ν¬κΈ°μ λͺ¨λΈκ³Ό μΈκ° μ λ¬Έκ°λ₯Ό μ‘°μ νλ κΈ°μ‘΄ LLM μΊμ€μΌμ΄λ μμ€ν
μ νκ³λ₯Ό μ§μ ν©λλ€. μ μλ CascadeDebateλ κ° κ³μΈ΅μ μμ€μ»¬λ μ΄μ
κ²½κ³μ λ€μ€ μμ΄μ νΈ μ¬μλ₯Ό λμ
νμ¬, λΆνμ€ν μ§μμ λν΄μλ§ κ²½λ μμ΄μ νΈ μμλΈμ νμ±νν¨μΌλ‘μ¨ λ΄λΆμ μΌλ‘ ν©μ κΈ°λ° ν΄κ²°μ κ°λ₯νκ² ν©λλ€. μ΄ μν€ν
μ²λ 쿼리 λμ΄λμ λ°λΌ ν
μ€νΈ μκ° μ»΄ν¨ν
μ λμ μΌλ‘ νμ₯νλ©°, μ¬λ¬ λ²€μΉλ§ν¬μμ κΈ°μ‘΄ μμ€ν
λλΉ μ΅λ 26.75%μ μ±λ₯ ν₯μμ 보μ¬μ£Όμμ΅λλ€.
π μμ¬μ λ° νκ³
β’
쿼리μ λΆνμ€μ±μ λ°λΌ κ³μ° λΉμ©μ ν¨μ¨μ μΌλ‘ μ‘°μ νλ μλ‘μ΄ μ κ·Ό λ°©μμ μ μν©λλ€.
β’
λ€μ€ μμ΄μ νΈ μ¬μλ₯Ό ν΅ν΄ λ¨μΌ λͺ¨λΈμ νκ³λ₯Ό 극볡νκ³ λ λμ μ νλλ₯Ό λ¬μ±ν μ μμ΅λλ€.
β’
λμ μκ³κ° μ΅μ νκ° μ±λ₯ ν₯μμ μ€μνλ©°, μ€μ λ°μ΄ν° λΆν¬μ νλ ₯μ μΌλ‘ μ μν μ μμ΅λλ€.
β’
μ μλ λ°©λ²λ‘ μ μμ΄μ νΈ κ΅¬μ± λ° μ¬μ λ©μ»€λμ¦μ μΌλ°ν κ°λ₯μ± λ° νμ₯μ±μ λν μΆκ° μ°κ΅¬κ° νμν©λλ€.
