Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Práctica: Segmentación de signos individuales a partir de secuencias continuas

Created by
  • Haebom

Autor

JianHe Low, Harry Walsh, Özge Mercanoglu Sincan, Richard Bowden

Describir

Este artículo aborda el problema de la segmentación continua de la lengua de señas, un desafío crítico en la traducción y anotación de datos de lengua de señas. Proponemos una arquitectura basada en transformadores que modela la dinámica temporal y define la segmentación de fotogramas como un problema de etiquetado de secuencias mediante el método de etiquetado Begin-In-Out (BIO). Aprovechamos las características de la mano de HaMeR y las complementamos con ángulos 3D. Los resultados experimentales demuestran que el modelo propuesto alcanza un rendimiento de vanguardia en el corpus DGS, y las características propuestas superan los parámetros de referencia existentes en el corpus BSL.

Takeaways, Limitations

Takeaways:
Lograr un rendimiento de última generación en la segmentación del lenguaje de señas utilizando una arquitectura basada en transformadores.
Se presenta un nuevo método de extracción de características que combina características de la mano de HaMeR y ángulos 3D.
Excelente validación del rendimiento en corpus DGS y corpus BSL.
Limitations:
Sólo se presentan evaluaciones de desempeño para corpus de lenguaje de señas específicos (DGS, BSL), lo que requiere más investigación sobre generalización.
Falta de análisis del coste computacional y eficiencia del modelo propuesto.
Se necesita verificación de escalabilidad para varios lenguajes de señas y conjuntos de datos.
👍