Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

ENSI: Inferencia segura, no interactiva y eficiente para modelos de lenguaje grandes

Created by
  • Haebom

Autor

Zhiyu He, Maojiang Wang, Xinwen Gao, Yuchuan Luo, Lin Liu, Shaojing Fu

Describir

Este artículo propone ENSI, un novedoso marco no interactivo para la inferencia segura en modelos de lenguaje a gran escala (LLM). Basado en el principio de codiseño de protocolos criptográficos y arquitecturas LLM, ENSI integra el esquema CKKS con BitNet, una variante ligera de LLM, para reducir significativamente la complejidad computacional de la multiplicación de matrices cifradas. Además, para abordar la carga computacional de softmax bajo cifrado homomórfico (HE), proponemos un enfoque alternativo que elimina la necesidad de reentrenamiento mediante la integración del mecanismo de atención sigmoidea con HE. Asimismo, integramos la operación de bootstrap en el proceso RMSNorm, refrescando eficientemente los textos cifrados y reduciendo significativamente la frecuencia de las costosas llamadas de bootstrap. Los resultados experimentales muestran que ENSI mejora la velocidad de multiplicación de matrices aproximadamente 8 veces en las CPU y la velocidad de inferencia de softmax en 2,6 veces en comparación con los métodos más avanzados, a la vez que reduce la tasa de bootstrap al 1%.

Takeaways, Limitations

Takeaways:
Presentamos un marco eficiente ENSI que mejora significativamente la practicidad de la inferencia segura para LLM.
La integración de CKKS y BitNet reduce drásticamente la complejidad computacional de la multiplicación de matrices encriptadas.
Aumentar la eficiencia del cálculo softmax integrando el mecanismo de atención sigmoidea con HE.
Reducción de los costos de actualización y arranque del texto cifrado mediante la integración eficiente de las operaciones de arranque.
Los resultados experimentales demuestran claramente la mejora del rendimiento de ENSI.
Limitations:
El rendimiento de ENSI puede variar según el hardware utilizado y el tamaño de LLM.
El uso de variantes ligeras de LLM como BitNet puede requerir un equilibrio entre rendimiento y precisión.
Debido a que los resultados experimentales se obtuvieron en un entorno específico, la generalización puede ser limitada.
Se necesita más investigación sobre su aplicabilidad a otros esquemas de cifrado o arquitecturas LLM.
👍