Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

KCR: Giải quyết xung đột kiến thức ngữ cảnh dài thông qua lý luận trong LLM

Created by
  • Haebom

Tác giả

Xianda Zheng, Zijian Huang, Meng-Fen Chiang, Michael J. Witbrock, Kaiqi Zhao

Phác thảo

Bài báo này đề xuất một khuôn khổ Lý luận Xung đột Kiến thức (KCR) để giải quyết vấn đề của các mô hình ngôn ngữ quy mô lớn (LLM) đang gặp khó khăn trong việc giải quyết xung đột kiến thức từ nhiều nguồn, đặc biệt là xung đột kiến thức giữa các ngữ cảnh xung đột trong các văn bản dài. KCR dựa vào học tăng cường để huấn luyện các LLM lựa chọn và tuân thủ các ngữ cảnh có tính nhất quán logic cao hơn khi được trình bày với các ngữ cảnh xung đột. Đầu tiên, nó trích xuất các đường suy luận, được biểu thị dưới dạng văn bản hoặc đồ thị kiến thức cục bộ, từ các ngữ cảnh văn bản dài xung đột. Dựa trên các đường dẫn này, mô hình được huấn luyện để đi theo đường suy luận chính xác, do đó tăng cường khả năng giải quyết xung đột kiến thức trong các ngữ cảnh văn bản dài. Kết quả thực nghiệm chứng minh rằng khuôn khổ được đề xuất cải thiện đáng kể khả năng giải quyết xung đột kiến thức của nhiều LLM khác nhau.

Takeaways, Limitations

Takeaways:
Góp phần cải thiện khả năng xử lý ngữ cảnh dài của LLM.
Nó đưa ra một cách tiếp cận mới để xử lý thông tin xung đột.
Cải thiện hiệu quả khả năng lập luận của LLM bằng cách sử dụng phương pháp học tăng cường.
Cung cấp khuôn khổ chung áp dụng cho nhiều chương trình LLM.
_____T28813____-:
Hiệu suất của khuôn khổ đề xuất có thể phụ thuộc vào thuật toán học tăng cường và hàm phần thưởng được sử dụng.
Độ Chính xác của quá trình trích xuất đường dẫn suy luận có thể ảnh hưởng đến hiệu suất tổng thể.
Nó chỉ có thể có hiệu quả đối với một số loại xung đột kiến thức nhất định.
Hiệu suất có thể thay đổi tùy thuộc vào chất lượng và số lượng dữ liệu đào tạo.
👍