본 논문은 최근 공개된 5개의 AI 안전 벤치마크 데이터셋을 UMAP 차원 축소와 k-means 군집화(실루엣 점수: 0.470)를 이용하여 평가하고, 그 결과를 바탕으로 AI 안전 벤치마크의 의미론적 유사성과 차이점을 분석합니다. 분석 결과, 6가지 주요 피해 범주가 확인되었으며, 각 벤치마크는 특정 피해 범주에 집중하는 경향을 보입니다(예: GretelAI는 개인정보 침해, WildGuardMix는 자해). 또한, 프롬프트 길이 분포의 차이가 데이터 수집 및 피해 해석에 영향을 미치는 혼란 요소임을 지적하며, 벤치마크 간의 상호 직교성을 정량적으로 측정하여, 주제의 유사성에도 불구하고 범위의 차이를 투명하게 제시합니다. 이러한 분석을 통해 AI 안전 데이터셋 개발에 대한 새로운 방향을 제시하며, 미래에 정의될 다양한 AI 피해를 포괄적으로 다루는 데이터셋 개발을 위한 정량적 프레임워크를 제안합니다.
