Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Attention vectorisée avec codage apprenable pour Quantum Transformer

Created by
  • Haebom

Auteur

Ziqing Guo, Ziwen Pan, Alex Khan, Jan Balewski

Contour

Cet article présente une méthode d'intégration de données classiques dans l'espace de Hilbert à l'aide d'un codage quantique par blocs vectorisé, améliorant ainsi l'efficacité de modèles quantiques tels que le transformateur quantique (QT), qui remplace les mécanismes d'auto-attention classiques par des simulations de circuits quantiques. Les QT conventionnels s'appuient sur des circuits quantiques profondément paramétrés (PQC), sensibles au bruit QPU et souffrant d'une dégradation des performances. Dans cet article, nous proposons un transformateur quantique vectorisé (VQT), qui permet un apprentissage efficace via un encodeur quantique non linéaire vectorisé et prend en charge le calcul d'une matrice d'attention masquée idéale via une simulation quantique approximative. Cela permet une simulation de circuit quantique (QCS) efficace en termes de tirs et sans gradient, avec une surcharge d'échantillonnage classique réduite. En comparant la précision des simulations de circuits quantiques sur IBM et IonQ, et en comparant les tâches de traitement du langage naturel sur le QPU haute fidélité Kingston d'IBM, à la pointe de la technologie, nous démontrons des résultats compétitifs. Cette approche VQT robuste au bruit, à moyenne échelle et respectueuse du quantique présente une nouvelle architecture pour l'apprentissage automatique de bout en bout en informatique quantique.

Takeaways, Limitations

Takeaways:
Mise en œuvre d'une formation efficace et d'une simulation de circuits quantiques à faible coût à l'aide d'encodeurs quantiques vectorisés.
Prise en charge du calcul de matrices d'attention masquées idéales via des simulations approximatives quantiques.
Réduction des frais d'échantillonnage classiques.
Nous présentons une architecture robuste au bruit, à moyenne échelle et respectueuse du quantique.
Démonstration de performances compétitives en matière de traitement du langage naturel sur les QPU IBM et IonQ.
Limitations:
Les performances du VQT proposé peuvent être affectées par les performances et le niveau de bruit du QPU utilisé.
D’autres applications et évaluations des performances pour les tâches réelles de traitement du langage naturel à grande échelle sont nécessaires.
Des recherches supplémentaires sont nécessaires sur la généralisabilité des encodeurs quantiques vectorisés et leur extensibilité à d’autres modèles quantiques.
👍