[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Práctica: Segmentación de signos individuales a partir de secuencias continuas

Created by
  • Haebom

Autor

JianHe Low, Harry Walsh, Özge Mercanoglu Sincan, Richard Bowden

Describir

Este artículo aborda el problema de la segmentación continua de la lengua de señas, una tarea crucial para la traducción y la anotación de datos en lengua de señas. Proponemos una arquitectura basada en Transformer que modela la dinámica temporal y definimos la segmentación de fotogramas como un problema de etiquetado de secuencias mediante la técnica de etiquetado Begin-In-Out (BIO). Aprovechamos las características de la mano y los ángulos 3D de HaMeR y demostramos que nuestro enfoque logra resultados de vanguardia en el Corpus DGS y supera los parámetros de referencia existentes en BSLCorpus.

Takeaways, Limitations

Takeaways:
Presentamos un enfoque novedoso al problema de segmentación del lenguaje de señas aprovechando una arquitectura basada en Transformer.
Segmentación efectiva de cuadros utilizando la técnica de etiquetado BIO.
Rendimiento mejorado al combinar las características de la mano HaMeR y los ángulos 3D.
Demostró un excelente desempeño en DGS Corpus y BSLCorpus.
Limitations:
Sólo se presentan evaluaciones de desempeño en conjuntos de datos de lenguaje de señas específicos (DGS Corpus, BSLCorpus), lo que requiere más investigación sobre generalización.
Falta de análisis del coste computacional y la complejidad del modelo propuesto.
Falta de validación de escalabilidad en diferentes lenguajes de señas y conjuntos de datos.
👍