Bài báo này xem xét các kỹ thuật tổng hợp cho các mô hình ngôn ngữ quy mô lớn (LLM) dựa trên các bộ biến đổi được huấn luyện trước (GPT). Các LLM riêng lẻ thường tạo ra các đầu ra không nhất quán và thể hiện sự thiên vị, hạn chế khả năng biểu diễn đầy đủ các mẫu ngôn ngữ đa dạng. Hơn nữa, nhiều LLM mạnh mẽ là mã nguồn đóng, hạn chế các ứng dụng công nghiệp của chúng do các lo ngại về quyền riêng tư dữ liệu. Dựa trên thành công của chúng trong việc tạo văn bản, bài báo này xem xét các kỹ thuật tổng hợp LLM để tạo mã và phân tích khả năng của chúng bằng cách phân loại chúng thành bảy phương pháp chính: hợp nhất có trọng số, hợp nhất kiến thức, trộn chuyên gia, tổng hợp phần thưởng, tổng hợp đầu ra, định tuyến và phân tầng. Chúng tôi nhấn mạnh các lợi thế chính, bao gồm tăng cường biểu diễn tính đa dạng, cải thiện chất lượng đầu ra và tăng tính linh hoạt của ứng dụng. Phương pháp này hỗ trợ việc lựa chọn mô hình cho các tác vụ thực tế và đặt nền tảng cho việc mở rộng các chiến lược tổng hợp sang các LLM đa phương thức.
