본 논문은 대규모 언어 모델(LLM)의 잠재적 위험에 대한 직접적인 측정이 부족함을 지적하며, 기존 AI 위험 평가가 모델의 기능에만 초점을 맞추고 실제 위험을 측정하지 못하는 한계를 짚는다. 따라서 LLM의 기능과 실질적인 실세계 피해를 연결하는 AI 위험 시나리오의 모델링 및 정량화의 중요성을 강조한다. 본 연구는 기존 AI 벤치마크(Cybench)를 활용하여 위험 추정치를 생성하는 방법을 제시하는 초기 연구로, 전문가가 Cybench 정보를 사용하여 위험 확률을 추정하는 파일럿 연구 결과를 보여준다. 이 방법론의 유용성을 시사하면서, 정량적 AI 위험 평가에의 적용을 강화하기 위한 개선점을 제시한다.
