Bài báo này tập trung vào việc phát hiện dấu hiệu, một nhiệm vụ xác định và định vị các dấu hiệu riêng lẻ trong các video ngôn ngữ ký hiệu liên tục. Phát hiện dấu hiệu đóng một vai trò quan trọng trong việc giải quyết tình trạng thiếu dữ liệu quan trọng trong các nỗ lực dịch ngôn ngữ ký hiệu và mở rộng tập dữ liệu chú thích. Để giải quyết những hạn chế của các phương pháp hiện có, bao gồm tính linh hoạt từ vựng hạn chế và tính mơ hồ cố hữu của các luồng ký hiệu liên tục, chúng tôi trình bày một khuôn khổ mới, không cần đào tạo, tích hợp mô hình ngôn ngữ quy mô lớn (LLM). Khuôn khổ này trích xuất các đặc điểm không gian thời gian và bàn tay và so khớp chúng với một từ điển ngôn ngữ ký hiệu lớn bằng cách sử dụng kỹ thuật bẻ cong thời gian động (DTW) và độ tương đồng cosin. Nó cung cấp tính linh hoạt từ vựng tuyệt vời mà không cần đào tạo lại mô hình và sử dụng LLM để thực hiện phân biệt nghĩa bóng theo ngữ cảnh bằng cách sử dụng tìm kiếm chùm tia. Kết quả thử nghiệm trên các tập dữ liệu ngôn ngữ ký hiệu tổng hợp và thực tế chứng minh độ chính xác và độ trôi chảy của câu vượt trội so với các phương pháp hiện có.
