본 논문은 대규모 언어 모델(LLM) 기반의 구현 에이전트가 복잡한 자연어 명령을 이해하고 계획하는 강력한 능력을 가지지만, 위험한 작업을 완벽하게 수행하여 실제 세계에 피해를 줄 수 있다는 문제점을 제기합니다. 기존 벤치마크는 계획 성능에만 초점을 맞춰 중요한 안전 위험을 간과하는 반면, 일부는 비상호 작용 이미지-텍스트 데이터에서만 LLM의 안전 인식을 평가합니다. 이러한 간극을 해소하기 위해, 본 논문은 상호 작용 시뮬레이션 환경에서 구현된 LLM 에이전트의 안전 인식 작업 계획을 위한 최초의 벤치마크인 SafeAgentBench를 제시합니다. SafeAgentBench는 10가지 잠재적 위험과 3가지 작업 유형을 엄격하게 다루는 750개의 실행 가능하고 다양하며 고품질의 작업 데이터셋, 저수준 컨트롤러를 갖춘 범용 구현 환경인 SafeAgentEnv(8개의 최첨단 기준 모델에 대한 17가지 고수준 작업을 지원하는 다중 에이전트 실행 지원), 실행 및 의미론적 관점 모두에서 신뢰할 수 있는 평가 방법을 포함합니다. 실험 결과는 서로 다른 설계 프레임워크를 기반으로 하는 에이전트가 작업 성공률에 상당한 차이를 보이지만, 전반적인 안전 인식은 여전히 약하다는 것을 보여줍니다. 가장 안전에 민감한 기준 모델조차도 상세한 위험 작업에 대해 10%의 거부율만 달성합니다. 또한, 에이전트를 구동하는 LLM을 단순히 교체하는 것만으로는 안전 인식이 눈에 띄게 향상되지 않습니다. 자세한 내용과 코드는 https://github.com/shengyin1224/SafeAgentBench에서 확인할 수 있습니다.
시사점, 한계점
•
시사점: LLM 기반 구현 에이전트의 안전 문제를 체계적으로 평가하기 위한 최초의 벤치마크인 SafeAgentBench를 제시함으로써, 안전한 LLM 에이전트 개발을 위한 중요한 기반을 마련했습니다. 다양한 작업과 위험 유형을 포함하는 데이터셋과 평가 방법을 통해 LLM 에이전트의 안전 인식 수준을 객관적으로 평가하고 개선 방향을 제시할 수 있습니다.
•
한계점: 현재 벤치마크에서 가장 안전에 민감한 기준 모델의 위험 작업 거부율이 10%에 불과하다는 점은 LLM 에이전트의 안전성 향상을 위해 더 많은 연구가 필요함을 시사합니다. 또한, 시뮬레이션 환경에서의 평가 결과가 실제 세계에 직접 적용될 수 있는지에 대한 추가적인 검증이 필요합니다. LLM 교체만으로는 안전성 향상에 큰 효과가 없다는 점은 안전성을 고려한 새로운 LLM 설계 및 훈련 방법론에 대한 연구 필요성을 보여줍니다. 마지막으로, 벤치마크에 포함된 위험 유형이 실제 세계의 모든 위험을 포괄하지 못할 수 있습니다.
