AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition

Created by

Haebom

저자

Ruipeng Wang, Yuxin Chen, Yukai Wang, Chang Wu, Junfeng Fang, Xiaodong Cai, Qi Gu, Hui Su, An Zhang, Xiang Wang, Xunliang Cai, Tat-Seng Chua

💡 개요

본 논문은 실제 환경에서 LLM 기반 에이전트의 성능 저하 문제를 해결하기 위해, 노이즈 환경에서의 견고성을 체계적으로 평가하는 AgentNoiseBench 프레임워크를 제안한다. 사용자와 도구에서 발생하는 노이즈를 분석하고 제어 가능한 방식으로 기존 벤치마크에 주입하여, 다양한 LLM 에이전트의 성능 변화를 광범위하게 평가했다. 연구 결과, 현재 에이전트들은 현실적인 노이즈에 민감하게 반응하며 성능 변동을 보임을 확인했다.

🔑 시사점 및 한계

•

실제 환경의 비이상적이고 불완전한 특성을 고려한 LLM 에이전트 견고성 평가의 중요성을 강조한다.

•

사용자와 도구에서 발생하는 노이즈 유형을 분류하고 이를 제어 가능한 벤치마크로 구현하여 향후 관련 연구의 기반을 마련한다.

•

다양한 모델 아키텍처와 규모에서의 성능 변화를 보여주며, 현재 LLM 에이전트의 현실적인 환경 적응력에 대한 통찰을 제공한다.

•

(한계점 또는 향후 과제) 노이즈의 종류 및 강도에 따른 에이전트 성능 저하 메커니즘에 대한 더 심층적인 분석과, 노이즈에 강건한 에이전트 개발을 위한 새로운 학습 및 평가 방법론 연구가 필요하다.

PDF 보기

Made with Slashpage