Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Phân biệt dấu hiệu bằng cách sử dụng mô hình ngôn ngữ lớn

Created by
  • Haebom

Tác giả

JianHe Low, Ozge Mercanoglu Sincan, Richard Bowden

Phác thảo

Bài báo này trình bày một khuôn khổ nhận dạng và phát hiện ngôn ngữ ký hiệu mới, không cần đào tạo, tích hợp mô hình ngôn ngữ quy mô lớn (LLM) để giải quyết vấn đề thiếu hụt dữ liệu trong dịch thuật ngôn ngữ ký hiệu. Khác với các phương pháp hiện có, nghiên cứu này trích xuất các đặc điểm không gian-thời gian và hình dạng bàn tay toàn cục, sau đó so sánh chúng với một từ điển ngôn ngữ ký hiệu quy mô lớn sử dụng kỹ thuật bẻ cong thời gian động và độ tương đồng cosin. LLM thực hiện diễn giải từ vựng theo ngữ cảnh thông qua tìm kiếm chùm mà không cần tinh chỉnh, giảm thiểu nhiễu và sự mơ hồ phát sinh từ quá trình so khớp. Kết quả thực nghiệm sử dụng các tập dữ liệu ngôn ngữ ký hiệu tổng hợp và thực tế cho thấy sự cải thiện về độ chính xác và độ trôi chảy của câu so với các phương pháp hiện có.

Takeaways, Limitations

Takeaways:
Chúng tôi chứng minh rằng LLM có thể được sử dụng để cải thiện độ chính xác trong nhận dạng ngôn ngữ ký hiệu và khả năng diễn đạt câu trôi chảy mà không cần đào tạo.
Tăng tính linh hoạt về mặt từ vựng thông qua việc so khớp dựa trên từ điển.
Giảm thiểu tiếng ồn và sự mơ hồ một cách hiệu quả thông qua việc diễn giải từ vựng theo ngữ cảnh.
Góp phần đơn giản hóa việc chú thích các tập dữ liệu ngôn ngữ ký hiệu quy mô lớn.
_____T266413____-:
Hiệu suất của LLM có thể phụ thuộc vào chất lượng và kích thước của từ điển.
Cần phải xác minh độ mạnh mẽ bổ sung dựa trên sự phức tạp của ngôn ngữ ký hiệu thực tế (ví dụ: các kiểu ký hiệu khác nhau, tiếng ồn nền).
ĐIều này có thể phụ thuộc vào một LLM cụ thể và hiệu suất có thể thay đổi khi áp dụng một LLM khác.
Chi phí tính toán của quá trình phân tích từ vựng sử dụng tìm kiếm theo chùm có thể cao.
👍