본 연구는 DeepSeek 모델의 안전성에 대한 최초의 종합적인 평가를 제시하며, 생성된 콘텐츠와 관련된 안전 위험을 평가하는 데 중점을 둡니다. 대규모 언어 모델, 다중 모달 대규모 언어 모델 및 텍스트-이미지 모델을 포함한 DeepSeek의 최신 세대 모델을 평가하고, 안전하지 않은 콘텐츠 생성에 대한 성능을 체계적으로 검토합니다. 특히, 중국 사회문화적 맥락에 맞춘 이중 언어(중국어-영어) 안전 평가 데이터 세트를 개발하여 중국에서 개발된 모델의 안전 기능을 더욱 철저하게 평가했습니다. 실험 결과는 강력한 일반적인 기능에도 불구하고 DeepSeek 모델이 알고리즘적 차별 및 성적 콘텐츠를 포함한 여러 위험 차원에서 상당한 안전 취약성을 보임을 나타냅니다. 이러한 결과는 대규모 기초 모델의 안전성을 이해하고 개선하는 데 중요한 통찰력을 제공합니다. 코드는 https://github.com/NY1024/DeepSeek-Safety-Eval 에서 확인할 수 있습니다.
