[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

DailyLLM: Generación de registros de actividad contextuales mediante sensores multimodales y LLM

Created by
  • Haebom

Autor

Ye Tian, Xiaoyuan Ren, Zihao Wang, Onat Gungor, Xiaofan Yu, Tajana Rosing

Describir

En este artículo, proponemos DailyLLM, el primer sistema de generación y resumen de registros de actividad que integra de forma integral cuatro dimensiones de información contextual: ubicación, movimiento, entorno e información fisiológica, utilizando únicamente sensores comunes de smartphones y smartwatches. DailyLLM permite la comprensión de la actividad en alta dimensión mediante la integración de un marco ligero basado en LLM con indicaciones estructuradas y una extracción eficiente de características. Se propone superar las limitaciones de los métodos existentes en cuanto a precisión, eficiencia y riqueza semántica, y logra una precisión BERTScore un 17 % superior y una velocidad de inferencia casi diez veces superior a la del método de vanguardia con 70 000 millones de parámetros, utilizando un modelo LLM de 1500 millones de parámetros.

Takeaways, Limitations

Takeaways:
Demuestra que se pueden generar registros y resúmenes de actividad completos y sensibles al contexto utilizando únicamente sensores de teléfonos inteligentes y relojes inteligentes.
Lograr alta precisión y eficiencia a través de un marco liviano basado en LLM.
Implementación eficiente incluso en dispositivos de bajas especificaciones, como computadoras personales y Raspberry Pi.
La comprensión de la actividad de alto nivel es posible mediante la integración de información situacional de cuatro dimensiones.
Limitations:
Actualmente utilizamos LLM con parámetros de 1.5B, pero el uso de LLM más grandes podría mejorar potencialmente el rendimiento (como lo implican los resultados de la comparación de 1.5B frente a 70B).
Se necesita una mayor validación del rendimiento de generalización en diversos datos de sensores y entornos.
Es necesario tener en cuenta la privacidad y la seguridad de los datos.
Se necesita una estrategia eficiente de acumulación y gestión de datos para su uso a largo plazo.
👍