Bài báo này nhằm mục đích nâng cao hiểu biết về quy trình tiền huấn luyện cho các mô hình ngôn ngữ quy mô lớn (LLM), cụ thể là huấn luyện phân tán, quản lý các tập dữ liệu lớn trên hàng trăm nút và mở rộng song song dữ liệu để tận dụng tối đa năng lực tính toán GPU hiện có. Trong khi các công ty nghiên cứu AI tiên tiến đang đầu tư hàng tỷ đô la vào cơ sở hạ tầng siêu máy tính để huấn luyện các mô hình ngày càng lớn trên các tập dữ liệu khổng lồ, thông tin về việc mở rộng hiệu suất và các cân nhắc về huấn luyện cho các quy trình huấn luyện quy mô lớn này lại rất khan hiếm trong các tài liệu công bố. Do đó, bài báo này nhằm mục đích đưa ra các khuyến nghị thực tế để điều chỉnh hiệu suất huấn luyện khi mở rộng quy mô các mô hình ngôn ngữ quy mô lớn.
