Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

LyS tại SemEval 2025 Nhiệm vụ 8: Tạo mã Zero-Shot cho QA dạng bảng

Created by
  • Haebom

Tác giả

Adri an Gude, Roi Santos-R ios, Francisco Prado-Vali no, Ana Ezquerro, Jes us Vilares

Phác thảo

Bài báo này mô tả sự tham gia của chúng tôi trong Nhiệm vụ 8 (Trả lời Câu hỏi Dạng bảng) của SemEval 2025. Chúng tôi đã phát triển một quy trình zero-shot tận dụng các mô hình ngôn ngữ quy mô lớn để tạo mã chức năng trích xuất thông tin liên quan từ dữ liệu dạng bảng dựa trên các câu hỏi đầu vào. Phương pháp này là một quy trình mô-đun tập trung vào một mô-đun tạo mã cốt lõi, với các thành phần bổ sung giúp cải thiện độ chính xác của việc trích xuất bằng cách xác định các cột liên quan và phân tích các kiểu dữ liệu. Nếu mã được tạo ra không thành công, một quy trình cải tiến lặp lại sẽ được triển khai, tích hợp phản hồi lỗi vào các lời nhắc tạo mới để tăng cường độ tin cậy. Chúng tôi chứng minh rằng việc tạo mã zero-shot là một phương pháp khả thi để trả lời câu hỏi dạng bảng mà không cần tinh chỉnh từng nhiệm vụ cụ thể, xếp hạng 33 trong số 53 nhóm tham gia trong giai đoạn thử nghiệm.

Takeaways, Limitations

_____T118503____-: Chúng tôi trình bày phương pháp tạo mã zero-shot như một phương pháp hiệu quả cho việc trả lời câu hỏi dạng bảng. Chúng tôi chứng minh tiềm năng cải thiện hiệu suất thông qua một quy trình mô-đun và một quy trình cải tiến lặp lại dựa trên phản hồi lỗi.
Limitations: Xếp hạng 33 trong số 53 nhóm không có bất kỳ điều chỉnh cụ thể nào cho từng nhiệm vụ, cho thấy còn nhiều điểm cần cải thiện. Có thể cần phân tích và xử lý lỗi phức tạp hơn, cũng như xử lý tốt hơn các loại dữ liệu đa dạng. Kết quả này cho thấy rõ những hạn chế của phương pháp zero-shot.
👍