[공지사항]을 빙자한 안부와 근황 
Show more

Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Hướng tới các thế hệ LLM có nền tảng địa văn hóa

Created by
  • Haebom

Tác giả

Piyawat Lertvittayakumjorn, David Kinney, Vinodkumar Prabhakaran, Donald Martin Jr., Sunipa Dev

Phác thảo

Bài báo này nghiên cứu những khoảng cách nhận thức văn hóa của các mô hình ngôn ngữ quy mô lớn (LLM) tạo sinh. Cụ thể, chúng tôi nghiên cứu ảnh hưởng của các kỹ thuật tạo sinh tăng cường sử dụng truy xuất cơ sở tri thức tùy chỉnh (KB-grounding) và truy xuất web (search-grounding) lên mức độ quen thuộc văn hóa của các LLM ở các nền văn hóa quốc gia khác nhau. Chúng tôi so sánh các LLM tiêu chuẩn, LLM dựa trên KB-grounding và LLM dựa trên tìm kiếm trên một số tiêu chuẩn nhận thức văn hóa, và nhận thấy rằng việc dựa trên tìm kiếm cải thiện đáng kể hiệu suất LLM trên các tiêu chuẩn trắc nghiệm đánh giá kiến thức mệnh đề (ví dụ: chuẩn mực văn hóa, hiện vật và thể chế). Ngược lại, việc dựa trên KB có hiệu quả hạn chế do độ bao phủ của cơ sở tri thức không đầy đủ và người tìm kiếm không tối ưu. Tuy nhiên, việc dựa trên tìm kiếm làm tăng nguy cơ đưa ra những đánh giá rập khuôn trong các mô hình ngôn ngữ và không cải thiện được đánh giá của người đánh giá về mức độ quen thuộc văn hóa trong các đánh giá của con người với sức mạnh thống kê đủ mạnh. Do đó, chúng tôi làm nổi bật khoảng cách giữa kiến thức văn hóa mệnh đề và sự lưu loát văn hóa mở khi đánh giá nhận thức văn hóa của các LLM.

Takeaways, Limitations

Takeaways: Các kỹ thuật tìm kiếm nền tảng đã được chứng minh là hiệu quả trong việc cải thiện kiến thức văn hóa mệnh đề của LLM. Chúng tôi đề xuất tính hữu ích của phương pháp tiếp cận dựa trên tìm kiếm như một phương tiện để cải thiện sự hiểu biết của LLM về các nền văn hóa khác nhau.
Limitations: Việc tìm kiếm dựa trên nền tảng làm tăng nguy cơ đưa ra những đánh giá rập khuôn. Việc tìm kiếm dựa trên nền tảng kiến thức (KB) có hiệu quả hạn chế do phụ thuộc vào chất lượng cơ sở tri thức và hiệu suất của công cụ tìm kiếm. Xem xét đánh giá chủ quan của người đánh giá, cần nghiên cứu thêm để xác định liệu việc tìm kiếm dựa trên nền tảng kiến thức có thực sự góp phần cải thiện sự lưu loát về văn hóa hay không. Cần phân biệt rõ ràng giữa đánh giá khách quan và đánh giá chủ quan, đồng thời phát triển một phương pháp mới để đánh giá toàn diện sự hiểu biết về văn hóa của các Thạc sĩ Luật (LLM).
👍