Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Phân bổ dựa trên nhúng LLM (LEA): Định lượng đóng góp của nguồn vào phản ứng của mô hình tạo ra để phân tích lỗ hổng

Created by
  • Haebom

Tác giả

Reza Fayyazi, Michael Zuzak, Shanchieh Jay Yang

Phác thảo

Bài báo này đề cập đến các vấn đề về độ tin cậy và bảo mật của các mô hình ngôn ngữ quy mô lớn (LLM), vốn ngày càng được sử dụng nhiều trong phân tích mối đe dọa an ninh mạng. Với hơn 21.000 lỗ hổng được tiết lộ chỉ riêng trong năm 2025, việc phân tích thủ công là không thể, và hỗ trợ AI có khả năng mở rộng và xác minh là rất quan trọng. LLM gặp khó khăn trong việc giải quyết các lỗ hổng mới nổi do hạn chế về dữ liệu đào tạo. Thế hệ tăng cường truy xuất (RAG) có thể giảm thiểu những hạn chế này bằng cách cung cấp thông tin cập nhật, nhưng vẫn chưa rõ LLM dựa vào thông tin thu thập được bao nhiêu và liệu thông tin đó có ý nghĩa và chính xác hay không. Sự không chắc chắn này có thể gây hiểu lầm cho các nhà phân tích bảo mật, dẫn đến việc ưu tiên bản vá không chính xác và gia tăng rủi ro bảo mật. Do đó, bài báo này đề xuất Phân bổ dựa trên nhúng LLM (LEA) để phân tích các phản hồi được tạo ra để phân tích khai thác lỗ hổng. LEA định lượng sự đóng góp tương đối của kiến ​​thức nội bộ và nội dung thu thập được trong phản hồi được tạo ra. Sử dụng ba LLM tiên tiến, chúng tôi đã đánh giá LEA trên ba thiết lập RAG (hợp lệ, chung chung và không chính xác) so với 500 lỗ hổng nghiêm trọng được tiết lộ từ năm 2016 đến năm 2025. Kết quả chứng minh rằng LEA có thể phát hiện sự khác biệt rõ ràng giữa các kịch bản không phát hiện, chung chung và phát hiện hợp lệ với độ chính xác hơn 95% trên mô hình quy mô lớn. Cuối cùng, chúng tôi chứng minh những hạn chế của việc truy xuất thông tin lỗ hổng không chính xác và cảnh báo cộng đồng an ninh mạng không nên mù quáng dựa vào LLM và RAG để phân tích lỗ hổng. LEA cung cấp cho các nhà phân tích bảo mật các số liệu để kiểm tra quy trình làm việc RAG nâng cao, cải thiện việc triển khai AI minh bạch và đáng tin cậy trong phân tích mối đe dọa an ninh mạng.

Takeaways, Limitations

Takeaways:
Phương pháp gán dựa trên nhúng LLM (LEA) đưa ra phương pháp tăng độ tin cậy bằng cách phân tích định lượng sự đóng góp của kiến ​​thức nội bộ và thông tin thu được trong các phản hồi LLM dựa trên RAG.
Chúng tôi xác thực RAG bằng thực nghiệm với độ chính xác cao trên 95% và chứng minh rằng nó có thể phát hiện việc truy xuất thông tin sai lệch.
Cung cấp hướng dẫn thực tế để triển khai AI một cách minh bạch và đáng tin cậy trong phân tích mối đe dọa an ninh mạng.
Limitations:
Không thể loại bỏ hoàn toàn khả năng xảy ra lỗi do thu thập thông tin không chính xác.
Cần nghiên cứu thêm để xác định khả năng khái quát hóa của 500 tập dữ liệu lỗ hổng được sử dụng trong quá trình đánh giá.
Cần có thêm nghiên cứu về hiệu suất khái quát của LEA đối với nhiều hệ thống LLM và RAG khác nhau.
👍