Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Vectorized Attention with Learnable Encoding for Quantum Transformer

Created by
  • Haebom

저자

Ziqing Guo, Ziwen Pan, Alex Khan, Jan Balewski

개요

본 논문은 벡터화된 양자 블록 인코딩을 이용하여 고전 데이터를 힐베르트 공간에 임베딩하는 방법을 제시하고, 이를 통해 고전적 자기 주의 메커니즘을 양자 회로 시뮬레이션으로 대체하는 양자 트랜스포머(QT)와 같은 양자 모델의 효율성을 높입니다. 기존 QT는 심층 매개변수화된 양자 회로(PQC)에 의존하여 QPU 노이즈에 취약하고 실제 성능이 저하되는 문제점을 가지고 있습니다. 본 논문에서는 벡터화된 비선형 양자 인코더를 통해 효율적인 훈련을 가능하게 하고, 양자 근사 시뮬레이션을 통해 이상적인 마스크된 어텐션 행렬 계산을 지원하는 벡터화된 양자 트랜스포머(VQT)를 제안합니다. 이를 통해 샷 효율적이고 경사 없는 양자 회로 시뮬레이션(QCS)과 감소된 고전적 샘플링 오버헤드를 달성합니다. IBM과 IonQ에서의 양자 회로 시뮬레이션 정확도 비교와 IBM 최첨단 고충실도 Kingston QPU에서의 자연어 처리 작업 벤치마킹 결과를 통해 경쟁력 있는 결과를 보여줍니다. 노이즈에 강건한 중간 규모 양자 친화적인 VQT 접근 방식은 양자 컴퓨팅에서 엔드투엔드 머신러닝을 위한 새로운 아키텍처를 제시합니다.

시사점, 한계점

시사점:
벡터화된 양자 인코더를 이용한 효율적인 훈련 및 샷 효율적인 양자 회로 시뮬레이션 구현.
양자 근사 시뮬레이션을 통한 이상적인 마스크된 어텐션 행렬 계산 지원.
감소된 고전적 샘플링 오버헤드.
노이즈에 강건한 중간 규모 양자 친화적인 아키텍처 제시.
IBM 및 IonQ QPU에서의 경쟁력 있는 자연어 처리 성능 입증.
한계점:
제안된 VQT의 성능은 사용된 QPU의 성능 및 노이즈 레벨에 영향을 받을 수 있음.
실제 대규모 자연어 처리 작업에 대한 적용 및 성능 평가가 추가적으로 필요함.
벡터화된 양자 인코더의 일반화 가능성 및 다른 양자 모델로의 확장성에 대한 추가 연구가 필요함.
👍