[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

QuRe: Recuperación relevante para la consulta mediante muestreo negativo duro en la recuperación de imágenes compuestas

Created by
  • Haebom

Autor

Jaehyun Kwak, Ramahdani Muhammad Izaaz Inhar, Se-Young Yun, Sung-Ju Lee

Describir

Este artículo aborda el problema de la recuperación sintética de imágenes (CIR), que recupera imágenes relevantes basándose en una imagen de referencia y un texto que describe la modificación deseada. Los métodos CIR existentes tienen la limitación de que solo se centran en recuperar la imagen objetivo e ignoran la relevancia de otras imágenes, lo que se debe a que la mayoría de los métodos que utilizan aprendizaje contrastivo tratan la imagen objetivo como positiva y todas las demás imágenes en el lote como negativas, lo que puede incluir falsos negativos. En este artículo, proponemos QuRe (Recuperación Relevante de Consulta mediante Muestreo Negativo Duro), que optimiza la función objetivo del modelo de recompensa para reducir los falsos negativos. Además, introducimos una estrategia de muestreo negativo duro que selecciona imágenes ubicadas entre dos caídas bruscas en las puntuaciones de relevancia después de la imagen objetivo, filtrando eficazmente los falsos negativos. Para evaluar la alineación con la preferencia humana, creamos un nuevo conjunto de datos, Human-Preference FashionIQ (HP-FashionIQ), que captura explícitamente las preferencias del usuario más allá de la recuperación del objetivo. Los resultados experimentales muestran que QuRe alcanza un rendimiento excepcional en los conjuntos de datos FashionIQ y CIRR, y se ajusta mejor a las preferencias humanas en el conjunto de datos HP-FashionIQ. El código fuente se encuentra en https://github.com/jackwaky/QuRe .

Takeaways, Limitations

•
Takeaways:
◦
Contribuye a mejorar el rendimiento del CIR y a aumentar la satisfacción del usuario al resolver el problema de los falsos negativos.
◦
Filtra eficazmente las imágenes irrelevantes a través de una estrategia de muestreo negativo duro.
◦
Presentamos HP-FashionIQ, un nuevo conjunto de datos que refleja las preferencias humanas.
◦
Lograr un rendimiento de última generación en los conjuntos de datos FashionIQ y CIRR.
◦
Muestra una alta alineación con las preferencias humanas.
•
Limitations:
◦
Se necesita más investigación sobre la escala y el rendimiento de generalización del conjunto de datos HP-FashionIQ.
◦
Se necesitan más estudios para explorar la aplicabilidad del método propuesto a otros problemas CIR u otras modalidades.
◦
Se necesita más investigación sobre el diseño del modelo de compensación y la optimización de la estrategia de muestreo negativo duro.
👍
Made with Slashpage