Bài báo này trình bày một khuôn khổ song song hóa tự động, TAPAS, nhằm giải quyết những thách thức trong việc tự động xác định các chiến lược song song hóa tensor cần thiết cho việc huấn luyện phân tán các mạng nơ-ron quy mô lớn. Khuôn khổ này giải quyết vấn đề không gian tìm kiếm đang tăng theo cấp số nhân của các phương pháp hiện có bằng cách giảm không gian tìm kiếm một cách hiệu quả bằng cách sử dụng phương pháp chia để trị, tận dụng cấu trúc con hồi quy của mạng nơ-ron. Phương pháp này đạt được độ phức tạp cận tuyến tính so với kích thước mô hình, cung cấp một giải pháp có khả năng mở rộng, áp dụng cho huấn luyện mạng quy mô lớn. Kết quả thực nghiệm chứng minh rằng TAPAS đạt tốc độ tìm kiếm nhanh hơn tới 160 lần so với các khuôn khổ song song hóa tự động hiện có, và hiệu suất của chiến lược được suy ra tương đương hoặc tốt hơn thư viện Megatron-LM do chuyên gia thiết kế.
