Bài báo này tập trung vào việc hợp nhất mô hình, một giải pháp không cần học máy, tích hợp nhiều mô hình tác vụ cụ thể để giải quyết vấn đề chi phí tính toán và dữ liệu đáng kể liên quan đến việc tinh chỉnh các mô hình ngôn ngữ quy mô lớn (LLM) đã được huấn luyện trước cho các tác vụ chuyên biệt. Để giải quyết vấn đề đánh đổi giữa an toàn và tiện ích (khi tính tổng quát được tăng cường làm ảnh hưởng đến các biện pháp an toàn) của các phương pháp hợp nhất mô hình hiện có, chúng tôi xác định hai nguyên nhân gốc rễ: nhận dạng sai tế bào thần kinh do lựa chọn dựa trên kích thước tham số đơn giản và sự can thiệp của tế bào thần kinh giữa các tác vụ trong quá trình hợp nhất. Để giải quyết những vấn đề này, chúng tôi đề xuất LED-Merging, một khuôn khổ ba bước xác định các tế bào thần kinh tác vụ cụ thể bằng cách sử dụng các thuộc tính dựa trên gradient, lựa chọn động các tế bào thần kinh quan trọng thông qua hợp nhất tầm quan trọng đa mô hình và tách rời các bản cập nhật xung đột thông qua cô lập tham số. Các thử nghiệm mở rộng trên Llama-3-8B, Mistral-7B và Llama2-13B chứng minh rằng LED-Merging giảm hiệu quả tỷ lệ phản hồi có hại (giảm 31,4% trên HarmBench cho Llama-3-8B-Instruct) trong khi vẫn duy trì hiệu suất sử dụng 95% (độ chính xác 52,39% trên GSM8K). LED-Merging giải quyết vấn đề đánh đổi giữa tính an toàn và tính hữu ích, đồng thời cung cấp một mô hình nhẹ, không cần học để xây dựng các LLM đa tác vụ mạnh mẽ. Mã nguồn có sẵn trên GitHub.
