Bài báo này tập trung vào bài toán hồi quy chuyên sâu suy luận (RiR). RiR là quá trình suy ra các đặc điểm số sắc thái từ văn bản. Không giống như các tác vụ hồi quy ngôn ngữ tiêu chuẩn như phân tích tình cảm hoặc đo lường độ tương đồng, RiR thường xuất hiện trong các vấn đề đặc biệt như chấm điểm dựa trên thang điểm hoặc truy xuất theo miền cụ thể. Đặc điểm độc đáo của nó là yêu cầu phân tích văn bản chuyên sâu trong các tình huống có dữ liệu đào tạo và tài nguyên tính toán hạn chế cho từng tác vụ cụ thể. Chúng tôi định nghĩa ba vấn đề thực tế là các tác vụ RiR, thiết lập một đường cơ sở và kiểm tra giả thuyết rằng việc tinh chỉnh một lời nhắc mô hình ngôn ngữ lớn (LLM) cố định và một bộ mã hóa Transformer sẽ là một thách thức trong RiR. Để giải quyết vấn đề này, chúng tôi đề xuất MENTAT, một phương pháp nhẹ kết hợp tối ưu hóa lời nhắc nhận biết lô và học tập tổng hợp mạng nơ-ron. Chúng tôi chứng minh rằng MENTAT đạt được cải thiện hiệu suất lên đến 65% so với các mô hình đường cơ sở. Tuy nhiên, chúng tôi kết luận rằng vẫn còn nhiều chỗ để cải thiện trong lĩnh vực RiR.
