Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Lớp logic Prompt Control Injection (LPCI): Một lớp lỗ hổng bảo mật mới trong các hệ thống Agentic

Created by
  • Haebom

Tác giả

Hammad Atta, Ken Huang, Manish Bhatt, Kamal Ahmed, Muhammad Aziz Ul Haq, Yasir Mehmood

Phác thảo

Bài báo này đề cập đến một loại lỗ hổng bảo mật tiềm ẩn mới phát sinh từ việc tích hợp các mô hình ngôn ngữ quy mô lớn (LLM) vào hệ thống doanh nghiệp, cụ thể là các lỗ hổng trong lớp thực thi logic và bối cảnh bộ nhớ liên tục. Chúng tôi giới thiệu Tấn công Chèn Điều khiển Nhắc Lớp Logic (LPCI), một loại tấn công mới liên quan đến các tải trọng được mã hóa, trì hoãn và kích hoạt có điều kiện trong bộ nhớ, lưu trữ vector hoặc đầu ra của công cụ. Các tải trọng này có thể bỏ qua các bộ lọc đầu vào hiện có và kích hoạt các hành động trái phép trên các phiên.

Takeaways, Limitations

Takeaways: Bằng cách nâng cao hiểu biết về các cuộc tấn công LPCI, một mối đe dọa bảo mật mới đối với các hệ thống dựa trên LLM, nghiên cứu này có thể góp phần tăng cường bảo mật cho các hệ thống doanh nghiệp. Bằng cách nhấn mạnh rằng chỉ riêng các bộ lọc đầu vào hiện có là không đủ để chống lại các cuộc tấn công LPCI, nghiên cứu này nhấn mạnh sự cần thiết phải phát triển các chiến lược phòng thủ bảo mật mới.
Limitations: Hiện tại, chưa có kỹ thuật phòng thủ hoặc chiến lược giảm thiểu cụ thể nào được đề xuất để chống lại các cuộc tấn công LPCI. Chưa có phân tích định lượng về mức độ đe dọa thực tế và khả năng xảy ra các cuộc tấn công LPCI. Cần nghiên cứu thêm để xác định khả năng tổng quát hóa các cuộc tấn công LPCI cho các môi trường LLM và hệ thống khác nhau.
👍