Bài báo này trình bày một khuôn khổ đánh giá có kiểm soát để đánh giá khả năng của các mô hình ngôn ngữ quy mô lớn (LLM) trong việc xây dựng tính nhất quán một cách nhất quán và hợp lý trong môi trường đa ngôn ngữ. Chúng tôi tạo ra các cặp tiền đề-giả thuyết tổng hợp, dựa trên logic, được dịch sang một tập hợp các ngôn ngữ đa dạng về mặt hình thái và tiến hành các thử nghiệm trong cả điều kiện đơn ngữ và ngôn ngữ hỗn hợp (chuyển đổi mã). Chúng tôi chứng minh kết quả đáng ngạc nhiên rằng việc chuyển đổi mã có thể cải thiện hiệu suất thay vì làm giảm hiệu suất, cho thấy rằng những thay đổi từ vựng do bản dịch gây ra có thể đóng vai trò là tín hiệu điều chỉnh. Chúng tôi xác minh độ trung thực của các cặp đã dịch bằng cách sử dụng phân tích độ tương đồng dựa trên nhúng và trực quan hóa căn chỉnh liên ngôn ngữ. Tóm lại, chúng tôi chứng minh tiềm năng và lỗ hổng của suy luận liên ngôn ngữ hiện tại trong LLM và trình bày chuyển đổi mã như một phương pháp đầy hứa hẹn để cải thiện tính mạnh mẽ của đa ngôn ngữ.
