[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

FIQ: Generación de preguntas fundamentales con la integración de incrustaciones de preguntas para responder preguntas en video

Created by
  • Haebom

Autor

Ju Young Oh, Ho Joong Kim, Seong Whan Lee

Describir

Este artículo señala que los métodos existentes de preguntas y respuestas en video (VQA) se basan en anotaciones basadas en eventos, que no logran capturar adecuadamente el contexto del video. Para superar esta limitación, proponemos un enfoque novedoso: la generación de preguntas fundamentales con la integración de incrustaciones de preguntas para preguntas y respuestas en video (FIQ), que genera pares pregunta-respuesta fundamentales basados en descripciones extraídas de videos. FIQ permite al modelo comprender información básica de la escena a través de los pares pregunta-respuesta generados, mejorando así las capacidades de generalización e inferencia. Además, utilizamos el módulo VQ-CAlign para asociar incrustaciones de preguntas con características visuales y mejorar su adaptabilidad a tareas específicas. Mediante experimentos con el conjunto de datos SUTD-TrafficQA, demostramos que supera a los métodos existentes.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos un método novedoso para mejorar la capacidad de inferencia de los modelos VQA mejorando la comprensión básica de los vídeos.
◦
Se mejora la generalización del modelo y la capacidad de inferencia a través de pares de preguntas y respuestas generados.
◦
Mayor adaptabilidad a tareas específicas mediante el módulo VQ-CAlign.
◦
Lograr un rendimiento de última generación en el conjunto de datos SUTD-TrafficQA.
•
Limitations:
◦
El rendimiento del método propuesto puede limitarse a un conjunto de datos específico (SUTD-TrafficQA).
◦
El rendimiento puede verse afectado por la calidad de los pares pregunta-respuesta generados.
◦
Se necesita un análisis más profundo de la eficacia del módulo VQ-CAlign.
◦
No se presentan resultados experimentales en otros conjuntos de datos VQA.
👍
Made with Slashpage