[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Descubrimiento de conceptos discretos entre capas para la interpretación de modelos lingüísticos

Created by
  • Haebom

Autor

Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Describir

Para abordar el reto de descubrir conceptos emergentes en las capas de Transformer, este artículo propone un marco de VQ-VAE (CLVQ-VAE) multicapa. Para superar la dificultad de comprender cómo evolucionan las características dentro de un modelo de lenguaje a gran escala debido a la mezcla lineal y la redundancia de información en el flujo residual, utilizamos la cuantificación vectorial para mapear representaciones en múltiples capas y colapsar las características redundantes del flujo residual en vectores conceptuales concisos e interpretables. En particular, combinamos el muestreo basado en temperatura top-k y la actualización del libro de códigos EMA para controlar el espacio latente discreto y mantener la diversidad del libro de códigos, e inicializamos el libro de códigos mediante k-medias++ esféricas escaladas para alinearlo mejor con la estructura semántica.

Takeaways, Limitations

•
Takeaways:
◦
Se presenta un nuevo marco para descubrir eficazmente conceptos emergentes en las capas del Transformer.
◦
Eliminar información redundante en el flujo residual para permitir un análisis más claro del proceso de evolución de características
◦
Combinando la cuantificación vectorial con el muestreo basado en temperatura top-k, la actualización del libro de códigos EMA y k-means++ esféricos escalados para mejorar la interpretabilidad y la diversidad de los vectores conceptuales.
•
Limitations:
◦
No se presentan resultados experimentales específicos para evaluar el desempeño del marco propuesto.
◦
Puede que solo sea eficaz para modelos de ciertos tamaños o para ciertos tipos de datos. Es necesario verificar el rendimiento de la generalización.
◦
Se necesita un análisis más profundo sobre la eficiencia y escalabilidad del método de inicialización k-means++ esférico escalado.
👍
Made with Slashpage