Design Behaviour Codes (DBCs): A Taxonomy-Driven Layered Governance Benchmark for Large Language Models

Created by

Haebom

저자

G. Madan Mohan, Veena Kiran Nambiar, Kiranmayee Janardhan

💡 개요

본 논문은 거대 언어 모델(LLM)의 행동을 제어하기 위한 최초의 경험적 평가 프레임워크인 Dynamic Behavioral Constraint (DBC) 벤치마크를 제안합니다. 제안된 150개 제어로 구성된 MDBC(Madan DBC) 시스템은 추론 시점에 LLM에 적용되는 시스템 프롬프트 레벨의 거버넌스 계층으로, 모델에 독립적이고, 관할권에 매핑 가능하며, 감사 가능합니다. 30개 도메인 위험 분류 및 5가지 적대적 공격 전략을 사용한 평가 결과, DBC 계층은 전반적인 위험 노출율(RER)을 36.8% 감소시키는 것으로 나타났습니다.

🔑 시사점 및 한계

•

LLM 거버넌스의 새로운 패러다임 제시: 훈련 시점 정렬 방식이나 사후 콘텐츠 조정 API와 달리, 시스템 프롬프트 레벨에서 모델에 독립적으로 적용 가능한 효과적인 거버넌스 방안을 제시합니다.

•

실증적 위험 감소 효과 입증: 제안된 DBC 프레임워크가 다양한 위험 영역에서 LLM의 유해한 행동을 실질적으로 줄일 수 있음을 실험적으로 보여줍니다.

•

EU AI Act 등 규제 준수 가능성 시사: DBC 계층 적용 시 EU AI Act와 같은 규제 요구사항 준수율이 향상되어, LLM의 안전하고 책임감 있는 배포를 위한 기반을 제공할 수 있습니다.

•

완벽한 방어는 아님: 회색 상자(graybox) 적대적 공격에 대해 4.83%의 DBC 우회율이 관찰되어, 지속적인 연구 및 개선이 필요함을 시사합니다.

PDF 보기

Made with Slashpage