Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Bị làm sai lệch bởi lý luận: Các mô hình ngôn ngữ lý luận trở thành kẻ đi nhờ xe trong các trò chơi hàng hóa công cộng

Created by
  • Haebom

Tác giả

David Guzman Piedrahita, Yongjin Yang, Mrinmaya Sachan, Giorgia Ramponi, Bernhard Scholkopf, Zhijing Jin

Phác thảo

Bài báo này nghiên cứu vai trò của việc xử phạt tốn kém trong tương tác của nhiều tác nhân mô hình ngôn ngữ quy mô lớn (LLM). Bằng cách áp dụng trò chơi hàng hóa công cộng của kinh tế học hành vi vào hệ thống tác nhân LLM, chúng tôi quan sát cách LLM điều hướng các tình huống khó xử xã hội trong các tương tác lặp lại. Phân tích của chúng tôi cho thấy LLM thể hiện bốn mô hình hành vi: các nhóm duy trì mức độ hợp tác không đổi, các nhóm xen kẽ giữa hợp tác và không hợp tác, các nhóm có mức độ hợp tác giảm dần theo thời gian và các nhóm tuân theo các chiến lược cố định bất kể kết quả. Đáng ngạc nhiên là, trong khi các LLM có khả năng lập luận cao, chẳng hạn như nhóm o1, gặp khó khăn trong việc hợp tác, thì một số LLM hiện tại lại luôn đạt được mức độ hợp tác cao. Điều này cho thấy các phương pháp cải tiến LLM hiện có tập trung vào việc cải thiện khả năng lập luận có thể không dẫn đến sự hợp tác.

Takeaways, Limitations

Takeaways:
Chúng tôi chứng minh rằng sự cải thiện khả năng lập luận của LLM không trực tiếp dẫn đến sự hợp tác, điều này cho thấy cần có một cách tiếp cận mới để thiết kế hành vi hợp tác của các tác nhân LLM.
Khám phá các mô hình hành vi hợp tác khác nhau trên các kiến trúc và phương pháp đào tạo LLM khác nhau. Nêu bật những thách thức trong việc dự đoán và kiểm soát hành vi xã hội ở các chương trình LLM.
Trình bày tiềm năng phân tích hành vi xã hội của LLM thông qua các khuôn khổ thử nghiệm như trò chơi hàng hóa công cộng.
Limitations:
Hạn chế về loại và phiên bản LLM được sử dụng trong thí nghiệm. Hạn chế khả năng khái quát hóa giữa các LLM khác nhau.
Kết quả phân tích cho một tình huống cụ thể được gọi là trò chơi hàng hóa công cộng. Cần nghiên cứu thêm để khái quát hóa cho các loại tình huống tiến thoái lưỡng nan xã hội khác.
Thiếu phân tích độ nhạy về thiết kế và các thông số cụ thể của cơ chế trừng phạt.
👍