Bài báo này về mặt lý thuyết ủng hộ quan điểm cho rằng các mô hình ngôn ngữ có thể giải mã các dự đoán chữ số thành chuỗi để phân tích hồi quy, đồng thời khám phá việc sử dụng mô hình giải mã chuỗi nhân quả làm đầu hồi quy chữ số cho các biểu diễn tính năng khác nhau. Mặc dù được huấn luyện bằng cách sử dụng phương pháp chung là dự đoán mã thông báo tiếp theo thông qua mất mát entropy chéo, chúng tôi nhận thấy đầu dựa trên bộ giải mã hoạt động tốt như đầu từng điểm tiêu chuẩn trong các tác vụ hồi quy tiêu chuẩn và thể hiện tính linh hoạt để nắm bắt các phân phối chữ số trơn tru, chẳng hạn như ước tính mật độ.
