본 논문은 GPT, LLAMA, Gemini와 같은 대규모 언어 모델(LLM)이 최종 사용자의 보안 관련 질문에 대한 응답 능력에 대해 연구한 결과를 담고 있습니다. 900개의 체계적으로 수집된 보안 질문에 대해 3가지 인기 LLM의 성능을 질적으로 평가했습니다. 연구 결과, LLM이 최종 사용자의 보안 정보에 대한 광범위한 일반적인 "지식"을 보여주었지만, 오래되고 부정확한 답변, 간접적이거나 비응답적인 의사소통 스타일과 같은 오류 패턴과 한계점이 발견되었습니다. 이러한 패턴을 바탕으로 모델 개선 방향을 제시하고, 보안 관련 도움을 얻기 위해 LLM과 상호 작용하는 사용자 전략을 권장합니다.
