Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Tận dụng các mô hình ngôn ngữ lớn để dịch ngôn ngữ ký hiệu chính xác trong các tình huống thiếu nguồn lực

Created by
  • Haebom

Tác giả

Luana Bulla, Gabriele Tuccio, Misael Mongiov i, Aldo Gangemi

Phác thảo

Bài báo này đề xuất AulSign, một phương pháp mới sử dụng các mô hình ngôn ngữ quy mô lớn (LLM) để giải quyết những thách thức của việc dịch ngôn ngữ tự nhiên sang ngôn ngữ ký hiệu và hạn chế về dữ liệu hiện có. AulSign áp dụng khả năng xử lý văn bản của LLM vào dịch ngôn ngữ ký hiệu bằng cách tận dụng học tập theo ngữ cảnh thông qua gợi ý động, lựa chọn mẫu và liên kết ngôn ngữ ký hiệu sau đó. LLM giải quyết vấn đề thiếu kiến ​​thức về ngôn ngữ ký hiệu bằng cách liên kết ngôn ngữ ký hiệu với các mô tả ngôn ngữ tự nhiên. Các thử nghiệm trên bộ dữ liệu SignBank+ và LaCAM CNR-ISTC cho tiếng Anh và tiếng Ý cho thấy AulSign vượt trội hơn các mô hình hiệu suất cao hiện có trong môi trường dữ liệu hạn chế. Phương pháp này có tiềm năng cải thiện khả năng tiếp cận và hòa nhập cho các cộng đồng ngôn ngữ chưa được phục vụ đầy đủ.

Takeaways, Limitations

Takeaways:
LLM mang đến những khả năng mới cho việc biên dịch ngôn ngữ ký hiệu.
Trình bày một cách hiệu quả để giải quyết vấn đề thiếu dữ liệu.
Góp phần cải thiện khả năng tiếp cận và hòa nhập cho các cộng đồng ngôn ngữ thiểu số
ĐạT hiệu suất tốt hơn so với các mô hình hiện có trong môi trường dữ liệu thấp.
Limitations:
Cần có thêm nghiên cứu về quy mô và tính đa dạng của các tập dữ liệu được sử dụng.
Khả năng không phản ánh đầy đủ các đặc điểm hình ảnh và không gian của ngôn ngữ ký hiệu
Hiệu suất tổng quát cần được xác minh cho nhiều ngôn ngữ ký hiệu khác nhau.
Khó khăn trong việc chuyển đổi chính xác các mô tả ngôn ngữ tự nhiên sang ngôn ngữ ký hiệu.
👍