Bài báo này đề cập đến vấn đề nhất quán văn hóa trong các mô hình ngôn ngữ quy mô lớn (LLM), vốn ngày càng được sử dụng rộng rãi trong các nhiệm vụ liên quan đến di sản văn hóa như tạo mô tả di tích, dịch thuật văn bản cổ, bảo tồn truyền thống truyền miệng và xây dựng nội dung giáo dục. Sự không phù hợp về giá trị văn hóa, chẳng hạn như bóp méo lịch sử, bản sắc văn hóa và sự đơn giản hóa quá mức các câu chuyện văn hóa phức tạp, có thể xảy ra trong các văn bản do LLM tạo ra, dẫn đến những hậu quả nghiêm trọng. Để giảm thiểu những rủi ro này, nghiên cứu này đánh giá một cách có hệ thống độ tin cậy của LLM trong việc tạo ra các văn bản nhất quán về mặt văn hóa cho các nhiệm vụ liên quan đến di sản văn hóa. Chúng tôi tiến hành đánh giá toàn diện bằng cách sử dụng một bộ dữ liệu toàn diện gồm 1.066 tác vụ truy vấn thuộc năm danh mục và 17 khía cạnh của hệ thống tri thức di sản văn hóa, nhắm mục tiêu đến năm LLM mã nguồn mở. Chúng tôi nghiên cứu các loại và tỷ lệ không phù hợp về giá trị văn hóa trong các văn bản được tạo ra. Sử dụng các phương pháp tự động và thủ công, chúng tôi phát hiện và phân tích hiệu quả sự không phù hợp về giá trị văn hóa trong các văn bản do LLM tạo ra. Chúng tôi nhận thấy rằng hơn 65% văn bản được tạo ra có sự không phù hợp văn hóa đáng kể, với một số tác vụ thể hiện sự không phù hợp gần như hoàn toàn với các giá trị văn hóa cốt lõi. Ngoài những phát hiện này, bài báo này trình bày một tập dữ liệu chuẩn và quy trình đánh giá toàn diện có thể đóng vai trò là nguồn tài nguyên có giá trị cho nghiên cứu trong tương lai nhằm cải thiện độ nhạy cảm về văn hóa và độ tin cậy của LLM.
