# Learning to Ask: When LLM Agents Meet Unclear Instruction

### 저자

Wenxuan Wang, Juluan Shi, Zixuan Ling, Yuk-Kit Chan, Chaozheng Wang, Cheryl Lee, Youliang Yuan, Jen-tse Huang, Wenxiang Jiao, Michael R. Lyu

### 💡 개요

본 논문은 LLM이 외부 도구를 활용할 때 발생하는 불명확한 사용자 지침 문제를 다룹니다. 이러한 문제를 해결하기 위해 LLM이 불분명한 지침에 직면했을 때 사용자에게 질문하도록 유도하는 Ask-when-Needed (AwN) 프레임워크를 제안하며, 이를 Noisy ToolBench라는 새로운 벤치마크와 ToolEvaluator라는 자동 평가 도구를 통해 검증합니다. 실험 결과, AwN은 기존 방법론에 비해 Noisy ToolBench에서 도구 활용 능력을 유의미하게 향상시키는 것으로 나타났습니다.

### 🔑 시사점 및 한계

- LLM이 불완전한 지침 속에서 도구를 효과적으로 사용하기 위해서는 질의응답 메커니즘이 중요합니다.

- 기존 LLM의 다음 토큰 예측 학습 방식은 불명확한 지침에 대해 임의로 정보를 생성하는 경향이 있어 환각(hallucination) 위험을 초래할 수 있습니다.

- 제안된 Ask-when-Needed (AwN) 프레임워크는 이러한 문제를 완화하고 LLM의 도구 활용 정확성과 효율성을 모두 개선할 수 있습니다.

- 향후 연구에서는 사용자-LLM 상호작용의 효율성을 더욱 높이기 위한 방안을 모색하고, 더 다양한 실제 시나리오에서의 성능 검증이 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2409.00557)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).