본 논문은 생성형 AI(Gen AI) 및 대규모 언어 모델(LLM) 기반 챗봇의 운영상 위험을 평가하기 위한 새로운 위험 평가 지표를 제안합니다. 기존 사이버 보안 위협을 넘어 서비스 제공 기업, 최종 사용자, 제3자 등 세 가지 주요 이해관계자에 대한 잠재적 위협을 동시에 평가하는 것을 목표로 합니다. 챗봇의 오류 유발을 위한 기술적 복잡성(비유도적 오류부터 고급 프롬프트 주입 공격까지)과 업계, 사용자 연령대, 취약성 심각도와 같은 맥락적 요소를 통합합니다. 오픈소스 LLM 취약성 테스트 프레임워크인 Garak을 활용하여 지표를 검증하고, 잘못된 정보, 코드 환각, 사회 공학, 악성 코드 생성 등 다양한 위협 벡터를 포착하도록 Garak을 개선했습니다. RAG(Retrieval-Augmented Generation)을 사용하는 챗봇 시나리오에서 방법론을 시연하고, 집계된 위험 점수가 단기 완화 및 장기적인 모델 설계 및 배포 개선에 어떻게 활용되는지 보여줍니다. 결과는 안전하고 신뢰할 수 있는 AI 기반 대화형 시스템을 운영할 때 다차원적 위험 평가의 중요성을 강조합니다.
