Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
Bài báo này trình bày PersonaGym, một khung đánh giá động, và PersonaScore, một thước đo đánh giá tự động dựa trên lý thuyết quyết định. Bài báo giải quyết vấn đề đánh giá mức độ tuân thủ persona của một tác nhân persona (một tác nhân LLM được điều kiện hóa để hành động theo một persona cụ thể) trong một môi trường tự do, nơi tính nhất quán phải được duy trì trong các môi trường đa dạng. Việc đánh giá mười trường LLM hàng đầu với 200 persona và 10.000 câu hỏi cho thấy quy mô và độ phức tạp của mô hình không nhất thiết tương quan với hiệu suất của tác nhân persona, nhấn mạnh nhu cầu đổi mới về thuật toán và kiến trúc để có được các tác nhân persona trung thành và hiệu suất cao. Ví dụ, GPT-4.1 và LLaMA-3-8b đạt được PersonaScores giống hệt nhau.
Takeaways, Limitations
•
Takeaways:
◦
PersonaGym và PersonaScore cung cấp các khuôn khổ và số liệu mới để đánh giá toàn diện hiệu suất của các tác nhân cá nhân.
◦
Chúng tôi chứng minh rằng quy mô và độ phức tạp của các mô hình ngôn ngữ quy mô lớn không đảm bảo hiệu suất của các tác nhân cá nhân, từ đó gợi ý các hướng nghiên cứu trong tương lai.
◦
Nó cho thấy tiềm năng phát triển của các tác nhân cá nhân trong nhiều lĩnh vực như giáo dục và chăm sóc sức khỏe.
•
Limitations:
◦
Có thể cần phải xác thực thêm phương pháp căn chỉnh con người của PersonaScore.
◦
Loại hình và phạm vi của LLM được sử dụng trong quá trình đánh giá có thể bị hạn chế.
◦
Có thể cần nghiên cứu thêm để giải quyết triệt để sự phức tạp của việc đánh giá tính nhất quán của tính cách trong các bối cảnh tự do.
