Bài báo này nhấn mạnh rằng hiệu suất tinh chỉnh của các mô hình ngôn ngữ quy mô lớn (LLM) phụ thuộc rất nhiều vào thành phần hỗn hợp dữ liệu huấn luyện, tuy nhiên, quá trình lựa chọn hỗn hợp dữ liệu tối ưu lại thủ công và phụ thuộc vào phương pháp heuristic. Do đó, chúng tôi đề xuất TASKPGM, một khuôn khổ tối ưu hóa hỗn hợp có nguyên tắc và có khả năng mở rộng, lựa chọn tỷ lệ tác vụ liên tục bằng cách tối thiểu hóa hàm năng lượng sử dụng Trường Ngẫu nhiên Markov (MRF). TASKPGM mô hình hóa mối quan hệ giữa các tác vụ bằng cách sử dụng các khác biệt về hành vi, chẳng hạn như Phân kỳ Jensen-Shannon và Thông tin Tương hỗ Từng Điểm, được tính toán từ phân phối dự đoán của các mô hình tinh chỉnh tác vụ đơn lẻ. Nó cung cấp một giải pháp dạng đóng trong các ràng buộc nhóm và cân bằng một cách có thể chứng minh được tính đại diện và tính đa dạng giữa các tác vụ. Nó chứng minh hiệu suất thực nghiệm nhất quán trên các công cụ đánh giá như MMLU và BIGBench trên Llama 2 và Mistral, cùng với các đảm bảo lý thuyết (bao gồm cả tính mô-đun phụ yếu cho các biến thể bị ràng buộc ngân sách). Ngoài hiệu suất, TASKPGM cung cấp những hiểu biết có thể diễn giải được về ảnh hưởng của tác vụ và thành phần hỗn hợp, khiến nó trở thành một công cụ mạnh mẽ cho việc tinh chỉnh LLM hiệu quả và mạnh mẽ.
