Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
ÍT ngữ cảnh hơn, hiệu suất tương tự: Một khuôn khổ RAG cho NLP lâm sàng dựa trên LLM tiết kiệm tài nguyên
Created by
Haebom
Tác giả
Satya Narayana Cheetirala, Ganesh Raut, Dhavalkumar Patel, Fabio Sanatana, Robert Freeman, Matthew A Levin, Girish N. Nadkarni, Omar Dawkins, Reba Miller, Randolph M. Steinhagen, Eyal Klang, Prem Timsina
Phác thảo
Nghiên cứu này đề cập đến việc phân loại văn bản dài là một nhiệm vụ khó khăn đối với các mô hình ngôn ngữ quy mô lớn (LLM) do hạn chế về mã thông báo và chi phí tính toán cao. Nghiên cứu này điều tra xem liệu phương pháp thế hệ tăng cường truy xuất (RAG) chỉ sử dụng các phân đoạn văn bản có liên quan nhất có thể đạt được hiệu suất tương đương với việc xử lý toàn bộ hồ sơ lâm sàng bằng LLM ngữ cảnh văn bản dài hay không. Chúng tôi sử dụng phương pháp chia các tài liệu lâm sàng thành các phần nhỏ, chuyển đổi chúng thành nhúng vectơ và lưu trữ chúng trong chỉ mục FAISS. Sau đó, chúng tôi truy xuất 4.000 từ có liên quan nhất đến truy vấn phân loại và đưa các phân đoạn tổng hợp này vào LLM. Chúng tôi đã đánh giá ba LLM (GPT4o, LLaMA, Mistral) về nhiệm vụ xác định biến chứng phẫu thuật. Các số liệu như AUC ROC, độ chính xác, khả năng thu hồi và F1 không cho thấy sự khác biệt có ý nghĩa thống kê giữa phương pháp dựa trên RAG và xử lý toàn văn (p > 0,05). Những kết quả này chỉ ra rằng RAG có thể duy trì độ chính xác phân loại trong khi giảm đáng kể việc sử dụng mã thông báo, cung cấp giải pháp có khả năng mở rộng và tiết kiệm chi phí để phân tích các tài liệu lâm sàng dài.
Takeaways, Limitations
•
Takeaways: Phương pháp dựa trên RAG có thể đạt được hiệu suất tương đương với xử lý toàn văn trong phân loại văn bản dài trong khi giảm đáng kể việc sử dụng mã thông báo và chi phí tính toán. Nó đưa ra một giải pháp hiệu quả và có thể mở rộng cho phân tích dữ liệu lâm sàng quy mô lớn.
•
Limitations: Nghiên cứu này chỉ được đánh giá cho một loại dữ liệu lâm sàng cụ thể (xác định biến chứng phẫu thuật) và một số lượng hạn chế các LLM. Khả năng khái quát hóa cho các loại dữ liệu hoặc LLM khác cần được nghiên cứu thêm. Mặc dù kết quả p > 0,05 cho thấy không có ý nghĩa thống kê, nhưng cần phải kiểm tra thêm về tiện ích thực tế của RAG thông qua phân tích quy mô hiệu ứng. Ngoài ra, cần nghiên cứu thêm về quy mô khối tối ưu và số lượng từ tối đa.
