Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Computación convolucional distribuida y codificada flexible para mejorar la resiliencia de rezagados y la estabilidad numérica en CNN distribuidas

Created by
  • Haebom

Autor

Shuo Tan, Rui Liu, Xuesong Han, XianLei Long, Kai Wan, Linqi Song, Yong Li

Describir

Este artículo propone un marco de Computación Convolucional Distribuida Codificada Flexible (FCDCC) para abordar el problema de los nodos rezagados, que causan retrasos al implementar CNN en entornos con recursos limitados. Extiende la Computación Distribuida Codificada (CDC) existente con Incrustación de Matrices Circulantes y de Rotación (CRME) y la aplica a convoluciones tensoriales de alta dimensión. La técnica propuesta, Convolución Tensorial Codificada Numéricamente Estable (NSCTC), introduce dos nuevas técnicas de partición de codificación: Partición Codificada con Relleno Adaptativo (APCP) para tensores de entrada y Partición Codificada por Canal de Núcleo (KCCP) para tensores de filtro. Estas estrategias permiten la descomposición lineal de convoluciones tensoriales y su codificación en subtareas CDC, combinando paralelismo de modelos y redundancia codificada para ofrecer una ejecución robusta y eficiente. El análisis teórico identifica un equilibrio óptimo entre los costos de comunicación y almacenamiento, y los resultados experimentales demuestran eficiencia computacional, resiliencia a nodos rezagados y escalabilidad en varias arquitecturas de CNN.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos un nuevo marco (FCDCC) para mejorar la eficiencia y la estabilidad de las CNN distribuidas en entornos con recursos limitados.
◦
Se mejoró la eficiencia computacional, la robustez ante nodos lentos y la escalabilidad mediante la técnica NSCTC.
◦
La partición y codificación eficiente de convoluciones tensoriales es posible mediante nuevas técnicas de partición de codificación llamadas APCP y KCCP.
◦
Análisis teórico del equilibrio óptimo entre costes de comunicación y almacenamiento.
◦
Eficacia validada experimentalmente en varias arquitecturas de CNN.
•
Limitations:
◦
Falta de detalles sobre la implementación y aplicación real del marco propuesto.
◦
Se necesita más análisis para determinar si existe una dependencia de entornos de hardware específicos o arquitecturas CNN.
◦
Se necesita evaluar el desempeño de modelos CNN más diversos y complejos.
◦
Limitaciones de las capacidades de corrección de errores y necesidad de más investigación.
👍
Made with Slashpage