Trong bài báo này, chúng tôi trình bày Farseer, một định luật về khả năng mở rộng, nhằm giải quyết vấn đề chi phí cao khi đào tạo các mô hình ngôn ngữ quy mô lớn (LLM). Farseer xây dựng một cách có hệ thống một bề mặt mất mát mô hình L(N,D) đạt được độ chính xác cao hơn nhiều trên dữ liệu thực nghiệm so với các định luật về khả năng mở rộng hiện có (ví dụ: định luật Chinchilla). Định luật này đã được kiểm chứng thông qua các thí nghiệm mở rộng trên khoảng 1.000 LLM với nhiều kích thước và cấu hình khác nhau, và cho thấy khả năng ngoại suy vượt trội, giảm sai số ngoại suy tới 433% so với định luật Chinchilla. Định luật này cho phép ngoại suy đáng tin cậy các kết quả thực nghiệm quy mô nhỏ thành các dự đoán hiệu suất quy mô lớn, đồng thời cung cấp những hiểu biết mới về việc phân bổ tối ưu tài nguyên tính toán. Tất cả các mô hình, dữ liệu, kết quả và nhật ký đều được chia sẻ công khai.
