Is On-Device AI Broken and Exploitable? Assessing the Trust and Ethics in Small Language Models
Created by
- Haebom
Category
Empty
저자
Kalyan Nakka, Jimmy Dani, Nitesh Saxena
개요
본 논문은 개인용 기기(스마트폰 등)에 적합한 소형 언어 모델(SLM)에 초점을 맞춰, 온디바이스 AI의 신뢰성 및 윤리적 함의를 조사한 최초의 연구이다. 온디바이스 SLM은 클라우드 기반 서비스에 비해 향상된 개인 정보 보호, 감소된 지연 시간, 향상된 사용자 경험을 제공하지만, 서버 기반 모델에 비해 상당한 위험과 취약성을 야기할 수 있다는 점을 제기한다. 신뢰성 평가 연구의 일환으로, 기존의 신뢰성 측정 프레임워크를 기반으로 최신 온디바이스 SLM을 서버 기반 모델과 비교하여 체계적으로 평가하였다. 그 결과, 온디바이스 SLM이 상당히 신뢰할 수 없으며, 특히 더 많은 고정관념적이고 불공정하며 개인 정보 침해적인 행동을 보이는 것으로 나타났다. 이러한 결과를 바탕으로, 윤리적이지 않은 질문 데이터 세트를 사용하여 윤리 평가 연구를 수행하였다. 그 결과, 온디바이스 SLM의 윤리적 안전 장치가 부족하고 유해한 콘텐츠를 생성할 수 있음을 보여주었다. 또한, 일반적인 윤리적으로 문제가 될 수 있는 프롬프트를 사용하여 온디바이스 SLM의 안전 장치가 제대로 작동하지 않고 악용될 수 있음을 보여주었다. 이러한 응답은 사회적 피해, 불법 활동, 증오, 자해, 악용 가능한 피싱 콘텐츠 등 다양한 유해하고 비윤리적인 시나리오에 악용될 수 있으며, 이는 온디바이스 SLM의 심각한 취약성과 악용 가능성을 나타낸다.
시사점, 한계점
•
시사점: 온디바이스 SLM의 신뢰성 및 윤리적 문제점을 최초로 체계적으로 규명하여, 향후 안전하고 윤리적인 온디바이스 AI 개발에 중요한 시사점을 제공한다. 온디바이스 SLM의 취약성 및 악용 가능성을 구체적으로 제시하여, 관련 기술 개발 및 정책 수립에 대한 필요성을 강조한다.
•
한계점: 본 연구는 특정한 SLM 및 데이터 세트에 기반한 결과이므로, 다른 SLM이나 데이터 세트에 대한 일반화에는 주의가 필요하다. 더욱 포괄적인 윤리적 프레임워크 및 평가 방법론의 개발이 필요하다. 온디바이스 SLM의 보안 및 신뢰성 향상을 위한 구체적인 기술적 해결책은 제시되지 않았다.
