IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia

작성자

Haebom

카테고리

비어 있음

저자

Priyaranjan Pattnayak, Sanchari Chowdhuri

💡 개요

본 논문은 남아시아의 12개 인도 언어에서 대규모 언어 모델(LLM)의 안전성을 평가하기 위한 최초의 체계적인 벤치마크인 IndicSafe를 제안합니다. 6,000개의 문화적으로 민감한 프롬프트를 사용하여 10개의 선도적인 LLM을 평가한 결과, 언어 간 안전성 일치율이 12.8%에 불과하며 모델별 안전성 비율 편차가 17%를 초과하는 심각한 안전성 드리프트를 발견했습니다. 이러한 결과는 다국어 LLM의 안전성 일반화에 중요한 격차가 존재하며, 안전성 정렬이 언어별로 균등하게 전이되지 않음을 보여줍니다.

🔑 시사점 및 한계

•

다국어 LLM의 안전성 평가에서 문화적 맥락과 지역별 언어의 중요성을 강조합니다.

•

기존 LLM들은 인도 언어와 같이 자원이 부족한 언어 환경에서 문화적으로 적합하지 않거나 편향된 안전성 반응을 보일 수 있음을 시사합니다.

•

본 연구는 지역적 위해에 기반한 언어 인식 정렬 전략의 필요성을 역설하며, IndicSafe 벤치마크는 향후 해당 지역에서의 LLM 안전성 평가 및 개발에 기여할 것입니다.

•

일부 LLM은 저자원 스크립트에서 무해한 프롬프트를 과도하게 거부하거나, 정치적으로 민감한 주제를 과도하게 플래깅하는 반면, 다른 모델은 안전하지 않은 생성을 제대로 플래깅하지 못하는 한계점을 보였습니다.

PDF 보기

Slashpage로 제작됨