SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents
작성자
- Haebom
카테고리
비어 있음
저자
Sheng Yin, Xianghe Pang, Yuanzhuo Ding, Menglan Chen, Yutong Bi, Yichen Xiong, Wenhao Huang, Zhen Xiang, Jing Shao, Siheng Chen
개요
본 논문은 대규모 언어 모델(LLM) 기반의 구현 에이전트가 위험한 작업을 수행할 가능성에 대한 문제를 제기하며, 이를 해결하기 위한 안전 인식 작업 계획 벤치마크인 SafeAgentBench를 제시합니다. SafeAgentBench는 10가지 잠재적 위험과 3가지 작업 유형을 포함하는 750개의 작업으로 구성된 새로운 데이터셋, 다중 에이전트 실행을 지원하는 범용 구현 환경인 SafeAgentEnv, 그리고 실행 및 의미론적 관점에서의 신뢰할 수 있는 평가 방법을 제공합니다. 실험 결과, 다양한 설계 프레임워크 기반 에이전트 간 작업 성공률에 상당한 차이가 있지만, 전반적인 안전 인식은 여전히 약하다는 것을 보여줍니다. 가장 안전에 중점을 둔 기준 모델조차도 상세한 위험 작업에 대해 10%의 거부율만 달성했습니다. 또한, 에이전트를 구동하는 LLM을 단순히 교체하는 것만으로는 안전 인식이 눈에 띄게 향상되지 않았습니다. GitHub에서 코드와 더 자세한 정보를 확인할 수 있습니다.
시사점, 한계점
•
시사점: LLM 기반 구현 에이전트의 안전 문제를 체계적으로 평가하기 위한 새로운 벤치마크인 SafeAgentBench를 제시. 다양한 LLM 기반 에이전트의 안전 인식 수준이 낮다는 것을 실험적으로 증명. 향후 안전한 LLM 기반 로봇 개발을 위한 중요한 기준 제시.
•
한계점: 가장 안전에 중점을 둔 기준 모델의 위험 작업 거부율이 여전히 낮음(10%). LLM 교체만으로는 안전성 개선에 한계가 있음을 시사. 벤치마크의 포괄성 및 일반화 가능성에 대한 추가 연구 필요. 실제 세계의 복잡성을 완벽하게 반영하지 못할 가능성 존재.
