대규모 언어 모델(LLM) 기반 에이전트는 다양한 분야에서 복잡한 의사결정 및 작업 실행을 자동화하는 데 점점 더 많이 사용되고 있습니다. 그러나 이러한 에이전트의 자율성은 보안 취약성, 법률 위반 및 의도치 않은 유해 행동을 포함한 안전 위험을 초래합니다. 모델 기반 안전 장치 및 조기 시행 전략과 같은 기존의 완화 방법은 강력성, 해석 가능성 및 적응성이 부족합니다. 이러한 과제를 해결하기 위해 본 논문에서는 LLM 에이전트의 런타임 제약 조건을 지정하고 시행하기 위한 경량의 도메인 특정 언어인 AgentSpec을 제안합니다. AgentSpec을 사용하여 사용자는 트리거, 술어 및 시행 메커니즘을 통합하는 구조화된 규칙을 정의하여 에이전트가 미리 정의된 안전 경계 내에서 작동하도록 합니다. 코드 실행, 구현된 에이전트 및 자율 주행과 같은 여러 도메인에서 AgentSpec을 구현하여 그 적응성과 효과를 보여줍니다. 평가 결과 AgentSpec은 코드 에이전트 사례의 90% 이상에서 안전하지 않은 실행을 성공적으로 방지하고, 구현된 에이전트 작업에서 모든 위험한 행동을 제거하며, 자율 주행 차량(AV)의 100% 준수를 시행합니다. 강력한 안전 보장에도 불구하고 AgentSpec은 밀리초 단위의 오버헤드를 가진 계산상 가볍습니다. 해석 가능성, 모듈성 및 효율성을 결합하여 AgentSpec은 다양한 애플리케이션에서 LLM 에이전트 안전을 시행하기 위한 실용적이고 확장 가능한 솔루션을 제공합니다. 또한 LLM을 사용하여 규칙 생성을 자동화하고 그 효과를 평가합니다. 평가 결과 OpenAI o1이 생성한 규칙은 구현된 에이전트에 대해 95.56%의 정밀도와 70.96%의 재현율을 달성하고, 위험 코드의 87.26%를 성공적으로 식별하며, 8가지 시나리오 중 5가지 시나리오에서 AV가 법을 위반하는 것을 방지하는 것으로 나타났습니다.
