Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

GRADA: Xếp hạng lại dựa trên đồ thị chống lại Tấn công tài liệu đối nghịch

Created by
  • Haebom

Tác giả

Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuânli He, Pasquale Minervini, Youchen Sun, Qiongkai Xu

Phác thảo

Khung Retrieval Augmented Generation (RAG) cải thiện độ chính xác của LLM bằng cách truy xuất các tài liệu bên ngoài, nhưng nó dễ bị tấn công đối kháng thao túng quá trình truy xuất. Trong bài báo này, chúng tôi đề xuất GRADA, một khung xếp hạng lại dựa trên đồ thị cho các cuộc tấn công tài liệu đối kháng. GRADA hướng đến việc duy trì chất lượng truy xuất đồng thời giảm thiểu tác động của các tài liệu đối kháng. Chúng tôi đã tiến hành thử nghiệm trên năm LLM và ba tập dữ liệu—GPT-3.5-Turbo, GPT-4o, Llama3.1-8b, Llama3.1-70b và Qwen2.5-7b—và đạt được tỷ lệ giảm tấn công thành công lên đến 80% trên tập dữ liệu Natural Questions.

Takeaways, Limitations

_____T27808____-: GRADA chứng minh rằng nó có thể giảm thiểu hiệu quả lỗ hổng của các hệ thống RAG trước các cuộc tấn công đối kháng. Hiệu suất của nó đã được kiểm chứng trên nhiều LLM và tập dữ liệu khác nhau. Trên tập dữ liệu Natural Questions, nó làm giảm đáng kể tỷ lệ thành công của các cuộc tấn công đồng thời giảm thiểu sự suy giảm độ chính xác.
Limitations: Hiện tại, điều này chỉ được đánh giá trên một tập dữ liệu cụ thể và LLM. Do đó, khả năng khái quát hóa cho các tập dữ liệu và LLM khác cần được nghiên cứu thêm. Có thể cần phân tích chi tiết hơn về các yếu tố góp phần cải thiện hiệu suất của GRADA. Khả năng chống chịu của GRADA trước các loại tấn công đối kháng khác nhau cũng cần được đánh giá thêm.
👍