본 논문은 실세계 응용 프로그램에 AI 시스템이 통합됨에 따라 윤리적 기준 충족을 보장하는 것이 중요함을 강조합니다. 기존 AI 윤리 프레임워크는 공정성, 투명성, 책임성을 강조하지만, 종종 실행 가능한 평가 방법이 부족합니다. 이 논문은 8가지 측정 가능한 차원을 포함하는 Responsible AI Labs (RAIL) 프레임워크를 사용하여 대규모 언어 모델(LLM)의 규범적 행동을 평가하는 체계적인 접근 방식을 제시합니다. Anthropic의 "Values in the Wild" 데이터셋(Claude와의 30만 건 이상의 익명 대화 및 3,000개 이상의 주석이 달린 가치 표현 포함)에 이 프레임워크를 적용하여, 가치를 RAIL 차원에 매핑하고, 합성 점수를 계산하며, 실제 사용 환경에서 LLM의 윤리적 행동에 대한 통찰력을 제공합니다.
