Bài báo này nhấn mạnh rằng khi chi phí đào tạo các mô hình ngôn ngữ quy mô lớn (LLM) tăng theo cấp số nhân, các kỹ thuật mới đang được phát triển để cải thiện hiệu quả đào tạo. Tuy nhiên, việc dự đoán kích thước mô hình tối ưu và phân bổ tài nguyên vẫn là một nhiệm vụ đầy thách thức. Hầu hết các luật tỷ lệ hiện có đều chuyên biệt cho kiến trúc dày đặc hoặc thưa thớt. Do đó, trong bài báo này, chúng tôi đề xuất một luật tỷ lệ tổng quát áp dụng cho cả LLM dày đặc và thưa thớt, đồng thời chứng minh tính hiệu quả của nó thông qua việc so sánh đánh giá với các luật tỷ lệ hiện có.
