Sign In

The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination

Created by
  • Haebom
Category
Empty

저자

Chenlong Yin, Zeyang Sha, Shiwen Cui, Changhua Meng

개요

대규모 언어 모델(LLM)의 추론 능력 향상은 "생각하고 행동하는" 에이전트를 구축하기 위한 핵심 전략이다. 하지만, 추론 능력 강화가 도구 환각(tool hallucination)을 증가시키는지에 대한 체계적인 연구는 부족하다. 본 연구에서는 추론 능력 강화가 도구 환각을 증가시키는지를 SimpleToolHalluBench를 사용하여 진단한다.

시사점, 한계점

•
시사점:
◦
추론 능력 강화는 도구 환각을 증가시키는 인과 관계를 가진다.
◦
이 효과는 과적합을 넘어선다.
◦
이 효과는 방법론에 독립적이다.
◦
추론 능력과 신뢰성 사이의 근본적인 trade-off가 존재한다.
◦
추론 강화는 도구 신뢰성 관련 표현을 붕괴시킨다.
•
한계점:
◦
현재 추론 능력 강화 방법은 능력과 신뢰성을 함께 최적화하지 못한다.
👍
Made with Slashpage