Trong các triển khai học máy thực tế, các mô hình phải được cập nhật, xây dựng và loại bỏ có chọn lọc khi cần thiết. Tuy nhiên, các phương pháp hợp nhất mô hình và học liên tục hiện có thường gặp phải tình trạng can thiệp tác vụ, quên đột ngột hoặc thiếu khả năng đảo ngược. Trong bài báo này, chúng tôi đề xuất Orthogonally Constrained Modular Delta Merging (MDM-OC), một khuôn khổ mới cho phép xây dựng các mô hình tinh chỉnh có khả năng mở rộng, không can thiệp và có thể đảo ngược. Mỗi mô hình tác vụ cụ thể được mã hóa dưới dạng delta từ một cơ sở chung và được chiếu vào một không gian con trực giao để loại bỏ xung đột. Các delta được chiếu này sau đó được hợp nhất thông qua tối ưu hóa dựa trên gradient để tạo thành một mô hình thống nhất duy trì hiệu suất trên tất cả các tác vụ. Phương pháp này hỗ trợ tích hợp liên tục các mô hình mới, tách cấu trúc để tuân thủ các quy định như yêu cầu của GDPR, và tính ổn định của mô hình thông qua hợp nhất trọng số linh hoạt và tái tạo tổng hợp. Các thử nghiệm mở rộng về điểm chuẩn xử lý ngôn ngữ tự nhiên và thị giác cho thấy MDM-OC vượt trội so với các đường cơ sở trước đây về độ chính xác, khả năng chuyển giao và độ trung thực của việc tách biệt trong khi vẫn duy trì hiệu quả về bộ nhớ và khả năng tính toán. Khuôn khổ này cung cấp một giải pháp nguyên tắc cho việc thiết kế các hệ thống AI mô-đun và tuân thủ.
