Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Computación convolucional distribuida y codificada flexible para mejorar la resiliencia de rezagados y la estabilidad numérica en CNN distribuidas

Created by
  • Haebom

Autor

Shuo Tan, Rui Liu, Xuesong Han, XianLei Long, Kai Wan, Linqi Song, Yong Li

Describir

En este artículo, proponemos un marco de Computación Convolucional Distribuida Codificada Flexible (FCDCC) para mejorar la tolerancia a nodos rezagados que causan retrasos y para mejorar la estabilidad numérica al implementar CNN en entornos con recursos limitados. Extendemos la Computación Distribuida Codificada (CDC) existente para la multiplicación de matrices con la Integración de Matrices Circulantes y Rotatorias (CRME) y la aplicamos a convoluciones tensoriales de alta dimensión. La técnica propuesta, denominada Convolución Tensorial Codificada Numéricamente Estable (NSCTC), presenta dos nuevas técnicas de partición de codificación: Partición Codificada con Relleno Adaptativo (APCP) para tensores de entrada y Partición Codificada por Canal de Núcleo (KCCP) para tensores de filtro. Estas estrategias permiten la descomposición lineal y la codificación de convoluciones tensoriales en subtareas CDC, y combinan paralelismo de modelos y redundancia codificada para una ejecución robusta y eficiente. Se utiliza el análisis teórico para encontrar el equilibrio óptimo entre los costos de comunicación y almacenamiento, y los resultados experimentales verifican la eficiencia computacional, la resistencia a los rezagados y la escalabilidad del marco en varias arquitecturas de CNN.

Takeaways, Limitations

Takeaways:
Una solución eficaz al problema de las CNN rezagadas distribuidas en entornos con recursos limitados
Mejora de la estabilidad numérica mediante la técnica NSCTC
Proporcionar estrategias eficientes de división de codificación a través de APCP y KCCP
Mejore el rendimiento combinando el paralelismo de modelos y la redundancia codificada.
Encontrar el equilibrio óptimo entre los costes de comunicación y almacenamiento
Limitations:
Falta de detalles específicos sobre la implementación y aplicación reales del marco propuesto (por ejemplo, optimización para entornos de hardware específicos).
Falta de evaluación del desempeño para diversas topologías de red y patrones de comunicación.
Se necesitan más análisis sobre las limitaciones de escalabilidad para los modelos CNN a gran escala.
Falta de análisis detallado de los costes generales y la complejidad que pueden surgir al aplicarlo a aplicaciones reales.
👍