Bài báo này trình bày một phương pháp tự động để đo lường mức độ Nhận thức An ninh Thông tin (ISA) của các trợ lý dựa trên mô hình ngôn ngữ quy mô lớn (LLM). ISA không chỉ bao gồm kiến thức bảo mật của các LLM đã được đề cập trong các nghiên cứu trước đây, mà còn bao gồm cả thái độ và hành vi quan trọng để hiểu bối cảnh bảo mật ngầm và từ chối các yêu cầu không an toàn, sử dụng 30 phân loại ISA di động. Sử dụng các tình huống thực tế để khám phá mối quan hệ giữa rủi ro bảo mật ngầm và sự hài lòng của người dùng, chúng tôi đánh giá mức độ ISA của các LLM hàng đầu. Chúng tôi nhận thấy rằng hầu hết các mô hình đều thể hiện mức độ ISA trung bình hoặc thấp. Đặc biệt, các biến thể nhỏ hơn trong cùng một họ mô hình thậm chí còn nguy hiểm hơn, và việc thiếu các cải tiến ISA nhất quán trong các phiên bản gần đây cho thấy các nhà cung cấp không tích cực giải quyết vấn đề này. Điều này chứng minh tính dễ bị tổn thương lan rộng của các triển khai LLM hiện tại, ngụ ý rằng hầu hết các mô hình phổ biến, bao gồm cả các biến thể nhỏ hơn, đều khiến người dùng gặp rủi ro một cách có hệ thống. Bài báo này đề xuất một chiến lược giảm thiểu thực tế, tích hợp các hướng dẫn về nhận thức bảo mật vào các lời nhắc hệ thống mô hình để giúp LLM phát hiện và từ chối các yêu cầu không an toàn tốt hơn.
