본 논문은 대규모 언어 모델(LLM) 기반 어시스턴트의 정보 보안 인식(ISA) 수준을 측정하는 자동화된 방법을 제시한다. 기존 연구에서 다루어진 LLM의 보안 지식뿐 아니라, 암묵적인 보안 맥락을 이해하고 안전하지 않은 요청을 거부하는 데 중요한 태도와 행동까지 포함하는 ISA를 30개의 모바일 ISA 분류 항목을 사용하여 측정한다. 실제 시나리오를 통해 암묵적인 보안 위험과 사용자 만족도 간의 긴장 관계를 조성하여 주요 LLM들의 ISA 수준을 평가한 결과, 대부분의 모델이 중간 또는 낮은 수준의 ISA를 보이는 것으로 나타났다. 특히, 동일 모델 계열의 소형 변종은 더욱 위험하며, 최신 버전에서도 ISA가 일관되게 향상되지 않아 제공업체가 이 문제 해결에 적극적으로 노력하지 않고 있음을 시사한다. 이는 현재 LLM 배포에 광범위한 취약성이 존재함을 보여주는 것으로, 특히 소형 변종을 포함한 대부분의 인기 모델이 사용자를 체계적으로 위험에 빠뜨릴 수 있음을 의미한다. 본 논문에서는 모델 시스템 프롬프트에 보안 인식 지침을 통합하여 LLM이 안전하지 않은 요청을 더 잘 감지하고 거부하도록 돕는 실용적인 완화 방안을 제시한다.
