Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Veritas: Detección generalizable de deepfakes mediante razonamiento basado en patrones

Created by
  • Haebom

Autor

Hao Tan, Jun Lan, Zichang Tan, Ajian Liu, Chuanbiao Song, Senyuan Shi, Huijia Zhu, Weiqiang Wang, Jun Wan, Zhen Lei

Describir

Este artículo destaca la complejidad y evolución del contenido deepfake en situaciones reales. Los referentes académicos existentes suelen presentar fuentes de entrenamiento homogéneas e imágenes de prueba de baja calidad, lo que desalienta significativamente la implementación de los detectores actuales en el mundo real. Para abordar esta deficiencia, presentamos el conjunto de datos HydraFake, que simula desafíos reales mediante pruebas de generalización jerárquica. HydraFake abarca diversas técnicas de deepfake, falsificaciones de campo, rigurosos protocolos de entrenamiento y evaluación, y abarca arquitecturas de modelos inéditas, novedosas técnicas de falsificación y nuevos dominios de datos. Basándonos en estos recursos, proponemos Veritas, un detector de deepfake basado en un modelo de lenguaje multimodal a gran escala (MLLM). A diferencia de los procesos de pensamiento convencionales (CoT), introducimos la inferencia de reconocimiento de patrones, que incorpora patrones de inferencia clave como la planificación y la autorreflexión para imitar los procesos forenses humanos. También proponemos un proceso de entrenamiento en dos etapas para integrar a la perfección estas capacidades de inferencia de deepfake en los MLLM existentes. Los experimentos con el conjunto de datos HydraFake demuestran que los detectores anteriores presentan un excelente rendimiento de generalización en escenarios multimodelo, pero presentan deficiencias en el ámbito de la falsificación no detectada y los datos. Veritas logra mejoras significativas en el rendimiento en diversos escenarios OOD, ofreciendo resultados de detección transparentes y precisos.

Takeaways, Limitations

Takeaways:
Presentamos HydraFake, un nuevo conjunto de datos que refleja los desafíos de detección de deepfakes en el mundo real.
Proponemos Veritas, un novedoso detector de deepfake basado en un modelo de lenguaje multimodal a gran escala (MLLM).
Mejore el rendimiento de detección imitando los procesos de razonamiento forense humano a través de la inferencia de reconocimiento de patrones.
Veritas supera a los detectores existentes en una variedad de escenarios fuera de distribución (OOD).
Proporciona resultados de detección transparentes y confiables.
Limitations:
Es posible que el conjunto de datos HydraFake no refleje perfectamente todas las amenazas deepfake del mundo real.
El rendimiento de Veritas puede depender del entrenamiento y la evaluación en el conjunto de datos HydraFake. Se requiere más investigación para determinar el rendimiento de la generalización en otros conjuntos de datos.
Los enfoques basados ​​en MLLM pueden resultar computacionalmente costosos.
A medida que continúan surgiendo nuevas tecnologías deepfake, Veritas requiere actualizaciones y mejoras constantes.
👍