Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

ĐáNh giá tính công bằng của các mô hình ngôn ngữ lớn trong dịch vụ tham khảo thư viện học thuật

Created by
  • Haebom

Tác giả

Hained Wang, Jason Clark, Yueru Yan, Star Bradley, Ruiyang Chen, Yiqiong Zhang, Hengyi Fu, Zuoyu Tian

Phác thảo

Bài báo này đánh giá liệu các mô hình ngôn ngữ quy mô lớn (LLM) có thể phục vụ tất cả người dùng một cách công bằng, bất kể đặc điểm nhân khẩu học hay địa vị xã hội, trong một thư viện tận dụng các dịch vụ tham khảo ảo hay không. Sử dụng sáu LLM hiện đại, chúng tôi đánh giá liệu các LLM có phân biệt đối xử trong phản hồi dựa trên danh tính người dùng bằng cách nhắc nhở người dùng hỗ trợ họ ở các giới tính, chủng tộc/sắc tộc và vai trò khác nhau trong tổ chức hay không. Chúng tôi không tìm thấy sự phân biệt đối xử dựa trên chủng tộc hay sắc tộc, và chỉ có một sự thiên vị nhỏ mang tính khuôn mẫu đối với phụ nữ trong một mô hình. Các LLM thể hiện sự thích nghi tinh tế với các vai trò trong tổ chức thông qua các lựa chọn ngôn ngữ liên quan đến tính trang trọng, lịch sự và từ vựng chuyên ngành, phản ánh các chuẩn mực nghề nghiệp hơn là sự đối xử phân biệt đối xử.

Takeaways, Limitations

Takeaways: Chương trình Thạc sĩ Luật (LLM) hiện tại cho thấy dịch vụ tham khảo thư viện học thuật được chuẩn bị khá tốt để hỗ trợ giao tiếp công bằng và phù hợp với ngữ cảnh. Không phát hiện thấy sự phân biệt đối xử dựa trên chủng tộc hoặc sắc tộc, và định kiến giới tính ở mức tối thiểu. Chương trình LLM dường như sử dụng ngôn ngữ phù hợp với vai trò của tổ chức.
_____T84365____-: Số lượng mô hình được khảo sát còn hạn chế, chỉ sáu mô hình, và việc phát hiện ra một số định kiến rập khuôn đối với phụ nữ trong một số mô hình cho thấy cần phải nghiên cứu thêm. Cần có thêm nghiên cứu để đánh giá rộng hơn các phản hồi của LLM cho nhiều loại câu hỏi hoặc tình huống khác nhau.
👍