Sign In

Executable Governance for AI: Translating Policies into Rules Using LLMs

Created by
  • Haebom
Category
Empty

저자

Gautam Varma Datla, Anudeep Vurity, Tejaswani Dash, Tazeem Ahmad, Mohd Adnan, Saima Rafi

개요

본 논문은 AI 정책 지침을 실행 가능한 규칙으로 변환하는 Policy-to-Tests (P2T) 프레임워크를 제시합니다. 이 프레임워크는 자연어 정책 문서를 표준화된 기계 판독 가능 규칙으로 변환하며, 위험 요소, 범위, 조건, 예외 및 필요한 증거를 인코딩하는 도메인 특정 언어(DSL)를 사용합니다. 여러 프레임워크, 부문별 지침 및 기업 표준에 적용하여 의무 관련 조항을 추출하고 실행 가능한 규칙으로 변환하여 프레임워크를 테스트했습니다. 생성된 규칙은 인간 기준과 유사한 정확도를 보였으며, HIPAA에서 파생된 안전 장치를 생성 에이전트에 추가하여 안전성 영향을 평가했습니다.

시사점, 한계점

AI 정책 지침을 실행 가능한 규칙으로 자동 변환하는 프레임워크 제시
자연어 정책 문서를 기계 판독 가능 규칙으로 변환하는 DSL 개발
다양한 정책 문서에 적용하여 프레임워크의 일반성 검증
생성 에이전트에 안전 장치를 적용하여 안전성 영향 평가
코드베이스, DSL, 프롬프트, 규칙 세트를 오픈소스로 공개하여 재현 가능한 평가 지원
한계점은 논문에 상세히 제시되지 않음 (논문 요약에 한계점 관련 내용 부재)
👍