본 논문은 다국어를 이해하고 응답하는 능력을 갖춘 대규모 언어 모델(LLM)의 저자원 언어(LRL)에 대한 취약성을 자동으로 평가하는 프레임워크를 제안합니다. 6개의 LLM을 8개 언어(자원 이용 가능성이 다양한 수준)를 대상으로 평가하고, 두 개의 언어에 대해 사람의 평가를 통해 프레임워크의 평가 결과를 검증했습니다. 그 결과 LRL에서의 취약성을 발견했지만, 이러한 취약성은 모델의 성능 저하로 인한 비논리적인 응답으로 인한 것이며 실제 위험은 최소화될 수 있음을 보여줍니다.
시사점, 한계점
•
시사점: 저자원 언어에서의 대규모 언어 모델의 취약성을 자동으로 평가하는 프레임워크를 제시하여, 다국어 지원 LLM의 안전성 평가에 기여합니다. LLM의 취약성과 실제 위험 간의 상관관계를 분석하여, 안전성 개선 방향을 제시합니다.
•
한계점: 프레임워크의 평가 결과 검증은 두 개의 언어에 대해서만 수행되었으며, 더 광범위한 언어에 대한 검증이 필요합니다. 모델의 성능 저하로 인한 비논리적인 응답이 실제 위험으로 이어질 가능성에 대한 추가적인 연구가 필요합니다. 'minimal risk'의 정량적인 기준이 명확하지 않습니다.
