Wenxin Li, Chuan Wang, Hongdong Zhu, Qi Gao, Yin Ma, Hai Wei, Kai Wen
개요
본 논문은 양자 컴퓨팅을 활용한 정량화된 신경망 훈련을 위한 새로운 이차 이진 최적화(QBO) 모델을 제시한다. 스플라인 보간을 통해 임의의 활성화 함수와 손실 함수를 사용할 수 있도록 하며, 비선형성과 신경망의 다층 복합 구조라는 문제를 해결하기 위해 활성화 함수를 선형 부분 구간으로 이산화하는 전방 간격 전파(FIP) 기법을 도입한다. 이 방법은 신경망의 보편적 근사 속성을 유지하면서 복잡한 비선형 함수를 양자 컴퓨터를 사용하여 최적화할 수 있도록 하여 인공지능 분야에서의 적용 가능성을 넓힌다. 최적화 관점에서 경험적 위험 최소화 문제의 표본 복잡도를 유도하여 근사 오차와 필요한 Ising 스핀 수에 대한 이론적 상한을 제공한다. 대규모 이차 제약 이진 최적화(QCBO) 모델 해결의 주요 과제는 많은 제약 조건의 존재이며, 이를 해결하기 위해 양자 조건부 경사 하강법(QCGD) 알고리즘을 사용하여 QCBO 문제를 직접 해결한다. 무작위성과 제한된 분산을 갖는 목적 함수 값을 갖는 양자 오라클 하에서, 그리고 계수 행렬의 제한된 정밀도 제약 하에서 QCGD의 수렴성을 증명하고 QCBO 해결 과정의 솔루션 시간(Time-To-Solution)에 대한 상한을 제공한다. 또한 단일 샘플 비트 스케일 최적화를 포함하는 훈련 알고리즘을 제안한다.
시사점, 한계점
•
시사점:
◦
양자 컴퓨팅을 이용한 정량화된 신경망 훈련의 새로운 방법 제시
◦
스플라인 보간을 통한 임의의 활성화 함수 및 손실 함수 사용 가능
◦
FIP 기법을 통한 비선형성 및 다층 구조 문제 해결
◦
양자 컴퓨터를 활용한 복잡한 비선형 함수 최적화 가능
◦
근사 오차 및 Ising 스핀 수에 대한 이론적 상한 제공
◦
QCGD 알고리즘을 통한 QCBO 문제 효율적 해결
◦
단일 샘플 비트 스케일 최적화 훈련 알고리즘 제안
•
한계점:
◦
대규모 QCBO 문제에서 많은 제약 조건 처리의 어려움 (penalty method 사용 시 hyperparameter tuning 문제 발생)
