Traversal-as-Policy: Log-Distilled Gated Behavior Trees as Externalized, Verifiable Policies for Safe, Robust, and Efficient Agents

Created by

Haebom

저자

Peiran Li, Jiashuo Sun, Fangzhou Lin, Shuo Xing, Tianfu Fu, Suofei Feng, Chaoqun Ni, Zhengzhong Tu

💡 개요

본 논문은 LLM 기반 자율 에이전트의 장기 정책이 모델 가중치와 트랜스크립트에 암묵적으로 내재되어 안전성이 사후적으로 보강되는 문제를 해결하기 위해 Traversal-as-Policy 방법을 제안합니다. 이 방법은 샌드박스 환경에서의 실행 로그를 Gated Behavior Tree(GBT)로 증류하고, 트리 순회를 제어 정책으로 사용하여 안전하고 효율적인 에이전트를 구축합니다. GBT는 상태 조건부 행동 매크로와 경험 기반의 엄격한 게이팅 메커니즘을 통해 안전성을 보장하며, 런타임 시 트리 순회와 복구 전략을 통해 성능을 향상시킵니다.

🔑 시사점 및 한계

•

안전성 및 효율성 향상: GBT는 기존 LLM 에이전트의 안전 위반을 획기적으로 줄이고 작업 성공률을 높이며, 비용을 절감하는 효과를 보여줍니다.

•

명시적이고 검증 가능한 정책: 행동 매크로와 게이팅 메커니즘을 통해 정책을 명시적으로 표현하고 검증 가능하게 만들어 에이전트의 동작을 더 잘 이해하고 제어할 수 있습니다.

•

기존 모델 활용도 증대: 더 작은 모델(8B 파라미터)에서도 GBT를 통해 성능을 크게 향상시킬 수 있어, 기존 LLM 에이전트의 활용 범위를 넓힐 수 있습니다.

•

GBT 생성 및 유지보수 복잡성: 다양한 작업과 환경에 대한 GBT를 생성하고 유지보수하는 과정이 복잡하고 비용이 많이 들 수 있습니다.

•

동적 환경 변화에 대한 대응: GBT가 고정된 정책을 기반으로 하므로, 예상치 못한 동적 환경 변화에 대한 적응성이 제한적일 수 있습니다.

PDF 보기

Made with Slashpage