GAVEL: Towards Rule-Based Safety Through Activation Monitoring

Fri, 01 May 2026 08:07:34 GMT

### 저자

Shir Rozenfeld, Rahul Pankajakshan, Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

### 💡 개요

기존 LLM 활성화 모니터링 방식은 표면적인 텍스트로는 드러나지 않는 유해 행동 감지에 어려움을 겪습니다. 본 논문은 '인지 요소(Cognitive Elements, CEs)'라는 미세하고 해석 가능한 요인으로 활성화를 모델링하는 규칙 기반 활성화 안전 패러다임을 제안합니다. 이를 통해 '위협 가하기'나 '결제 처리'와 같은 특정 행동을 포착하여 도메인 특화적인 행동을 높은 정밀도로 감지하는 실시간 탐지 프레임워크를 제시합니다.

### 🔑 시사점 및 한계

- **높은 정밀도 및 유연성**: CEs를 기반으로 한 규칙은 기존 방식보다 높은 정밀도를 제공하며, 모델 재학습 없이도 실시간으로 규칙을 설정하고 업데이트할 수 있어 유연성이 뛰어납니다.

- **해석 가능성 및 감사 가능성**: CEs는 인간이 이해하기 쉬운 개념으로 구성되어 AI 안전 시스템의 작동 원리를 투명하게 설명하고 감사하기 용이합니다.

- **실용적인 거버넌스 도구**: GAVEL은 인터랙티브 규칙 작성 및 관리 도구인 GAVEL Studio와 함께 공개되어, AI 거버넌스 구축을 위한 실질적인 솔루션을 제공합니다.

- **추가적인 CE 정의 및 복잡한 상호작용 연구**: 모든 가능한 유해 행동을 포괄하는 CE의 정의와 복잡한 CE 간의 상호작용을 모델링하는 방법에 대한 추가 연구가 필요할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2601.19768)