Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Sự mơ hồ tham chiếu và yêu cầu làm rõ: so sánh hành vi của con người và LLM

Created by
  • Haebom

Tác giả

Chris Madge, Matthew Purver, Massimo Poesio

Phác thảo

Bài báo này nghiên cứu khả năng đặt câu hỏi của mô hình ngôn ngữ quy mô lớn (LLM) trong các cuộc hội thoại hướng nhiệm vụ theo định dạng người cung cấp lệnh/người thực hiện lệnh không đồng bộ. Chúng tôi trình bày một ngữ liệu mới tích hợp hai chú thích hiện có (tham chiếu và mơ hồ, giải thích nhúng SDRT) từ ngữ liệu hội thoại Minecraft thành một định dạng chung duy nhất, cung cấp thông tin cần thiết để thử nghiệm các giải thích và mối quan hệ của chúng với sự mơ hồ. Sử dụng ngữ liệu này, chúng tôi so sánh hành vi của LLM với các câu hỏi ban đầu do con người tạo ra để nghiên cứu cách con người và LLM hành xử khi có sự mơ hồ. Chúng tôi thấy rằng chỉ có một mối quan hệ yếu giữa sự mơ hồ và việc con người tạo ra câu hỏi, và mối tương quan giữa con người và LLM là thấp. Mọi người hiếm khi đặt câu hỏi về sự mơ hồ tham chiếu, nhưng thường đặt câu hỏi về sự không chắc chắn dựa trên nhiệm vụ. Ngược lại, LLM tạo ra nhiều câu hỏi hơn về sự mơ hồ tham chiếu, nhưng ít hơn về sự không chắc chắn của nhiệm vụ. Chúng tôi đặt câu hỏi liệu khả năng đặt câu hỏi của LLM có dựa trên khả năng mô phỏng các suy luận gần đây của họ hay không và chúng tôi kiểm tra điều này bằng nhiều phương pháp suy luận khác nhau, cho thấy rằng suy luận làm tăng tần suất và mức độ liên quan của các câu hỏi.

Takeaways, Limitations

Takeaways:
Khả năng đặt câu hỏi của LLM cho thấy mọi người có khả năng khác nhau trong việc phản ứng với các loại mơ hồ khác nhau.
Chúng tôi nhận thấy khả năng lập luận của LLM đã cải thiện tần suất và mức độ liên quan của các câu hỏi.
Kho dữ liệu hội thoại Minecraft mới là nguồn tài nguyên hữu ích để nghiên cứu kỹ năng đặt câu hỏi trong LLM.
Limitations:
Mối tương quan giữa việc đặt câu hỏi giữa mọi người và LLM là thấp, cần phải nghiên cứu thêm.
Có mối liên hệ yếu giữa sự mơ hồ và việc tạo ra câu hỏi.
Vì nghiên cứu chỉ giới hạn trong môi trường Minecraft cụ thể nên khả năng khái quát hóa bị hạn chế.
👍