본 논문은 실세계 적용이 증가하는 AI 시스템의 안전성 확보를 위한 도메인에 종속되지 않는 새로운 프레임워크를 제안합니다. 사용자 정의 안전 제약 조건을 특정 확률로 만족하도록 보장하는 접근 방식으로, 성능을 유지하면서 출력이 안전 요구 사항을 충족하도록 하는 최적화 문제와 AI 모델을 결합합니다. 불확실한 제약 조건(예: 챗봇 응답이 '유해한지' 여부)을 처리하는 데 중점을 두고, 안전 분류 모델, 내부 테스트 데이터, 보수적인 테스트라는 세 가지 혁신을 통해 이 문제를 해결합니다. 온건한 조건 하에서 확률적 안전을 보장하고 AI 안전성에서 최초의 확장 법칙을 확립하여 더 많은 내부 테스트 데이터를 사용하면 안전성-성능 트레이드오프가 예측 가능하게 향상됨을 보여줍니다. 생산 계획, 강화 학습, 언어 생성에 대한 실험을 통해 기존 방법보다 최대 140배 더 나은 안전성을 달성함을 입증합니다. 다양한 도메인에서 엄격한 안전 보장과 높은 성능을 모두 달성할 수 있도록 합니다.
