Este artículo presenta Photonic Fabric™ y Photonic Fabric Appliance™ (PFA), un subsistema de conmutación y memoria fotónica que ofrece baja latencia, alto ancho de banda y bajo consumo energético. Integra memoria HBM3E de alto ancho de banda, conmutadores ópticos en módulo y DDR5 externa en un sistema en paquete electroóptico 2.5D para proporcionar hasta 32 TB de memoria compartida y 115 Tbps de conmutación digital de ancho de banda completo. Photonic Fabric™ permite una ejecución más eficiente de estrategias de procesamiento paralelo en el entrenamiento e inferencia de IA distribuida. Aborda las limitaciones del área de silicio que limitan la relación memoria-cómputo fija de los diseños de aceleradores XPU convencionales. Amplía la capacidad de memoria y el ancho de banda al reemplazar la pila HBM local de la XPU con un chiplet que se conecta a Photonic Fabric. Utilizando CelestiSim, un simulador analítico ligero validado en sistemas NVIDIA H100 y H200, evaluamos el rendimiento de la inferencia LLM y el ahorro de energía en el PFA sin modificar el diseño del núcleo de la GPU. Los resultados de la simulación muestran una mejora de hasta 3,66 veces en el rendimiento y 1,40 veces en la latencia en la inferencia LLM con parámetros de 405B, una mejora de hasta 7,04 veces en el rendimiento y 1,41 veces en la latencia con parámetros de 1T, y una reducción del 60-90 % en el consumo de energía del movimiento de datos en todos los escenarios de entrenamiento LLM. Los resultados corresponden a GPU NVIDIA, pero son igualmente aplicables a otros diseños de aceleradores de IA (XPU) con las mismas limitaciones de memoria y cómputo.
