Rapid yet accurate Tile-circuit and device modeling for Analog In-Memory Computing
Created by
Haebom
저자
J. Luquin, C. Mackin, S. Ambrogio, A. Chen, F. Baldi, G. Miralles, M. J. Rasch, J. Buchel, M. Lalwani, W. Ponghiran, P. Solomon, H. Tsai, G. W. Burr, P. Narayanan
개요
본 논문은 아날로그 인메모리 컴퓨팅(AIMC)의 에너지 효율성 향상 가능성에도 불구하고, 아날로그 도메인의 소자 및 회로 비이상성으로 인한 신경망 작업 정확도 저하 문제를 다룹니다. 저수준 왜곡 및 노이즈의 영향을 정량화하고, 아날로그 타일로 매핑된 곱셈-누산(MAC) 연산에 대한 수학적 모델을 개발합니다. 이 모델은 순간 전류 IR 드롭(가장 중요한 회로 비이상성)과 ADC 양자화 효과를 완벽하게 포착하여, 훨씬 느린 엄격한 회로 시뮬레이션과 비교하여 MVM 타일 출력을 빠르고 정확하게 예측할 수 있습니다. 나노초 시간 척도에서 PCM 판독 노이즈의 통계적 모델은 실험 측정으로부터 도출되고 일치시킵니다. 이러한 (통계적) 소자 및 (결정적) 회로 효과를 PyTorch 기반 프레임워크에 통합하여 BERT 및 ALBERT Transformer 네트워크에 대한 정확도 영향을 평가합니다. 간단한 가우시안 노이즈를 사용한 하드웨어 인식 미세 조정이 ADC 양자화 및 PCM 판독 노이즈 효과에 대한 복원력을 제공하지만 IR 드롭에는 효과적이지 않음을 보여줍니다. IR 드롭은 결정적이지만 비선형적이며 시간 통합 창 동안 크게 변하고 궁극적으로 아날로그 타일로 병렬로 도입되는 모든 여기의 종속성을 가집니다. 훈련 중에 적용된 간단한 가우시안 노이즈가 추론 중 IR 드롭에 대한 DNN 네트워크를 제대로 준비할 수 없는 것으로 보이는 것은, 대규모 신경망을 AIMC 하드웨어에 탄력적으로 배포하기 위해서는 여기서 소개된 타일 회로 모델과 같은 발전을 통합하는 더 복잡한 훈련 접근 방식이 중요함을 시사합니다.
시사점, 한계점
•
시사점:
◦
아날로그 타일에서의 MAC 연산을 위한 정확하고 빠른 수학적 모델을 제시.
◦
ADC 양자화 및 PCM 판독 노이즈에 대한 하드웨어 인식 미세 조정의 효과를 입증.
◦
AIMC 하드웨어에서의 대규모 신경망 배포를 위한 복잡한 훈련 접근 방식의 필요성 제시.
•
한계점:
◦
간단한 가우시안 노이즈 기반 미세 조정은 IR 드롭에 대한 저항력을 제공하지 못함.
◦
IR 드롭과 같은 비선형적이고 결정적인 비이상성에 대한 더욱 정교한 모델링 및 훈련 기법이 필요함.
