Bài báo này giới thiệu ORAL, một khuôn khổ khuếch tán vòng tròn có điều kiện mới do các tác giả đề xuất. ORAL sử dụng phương pháp tạo tham số tổng hợp trực tiếp trọng số mô hình chất lượng cao trong quá trình điều chỉnh cấp thấp (LoRA) để phát triển các mô hình ngôn ngữ quy mô lớn (LLM). Để giải quyết các vấn đề về khả năng mở rộng và khả năng kiểm soát của các phương pháp hiện có, chúng tôi giới thiệu một cơ chế điều kiện mới tích hợp kiến trúc mô hình và thông số kỹ thuật tác vụ văn bản để tạo ra các tham số LoRA dành riêng cho tác vụ. Kết quả thử nghiệm cho thấy ORAL có thể mở rộng thành LLM với hàng tỷ tham số và đạt hiệu suất tương đương hoặc tốt hơn so với các phương pháp hiện có trong khi vẫn duy trì khả năng kiểm soát.
