Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CrypTorch: PyTorch-based Auto-tuning Compiler for Machine Learning with Multi-party Computation

Created by
  • Haebom
Category
Empty

저자

Jinyu Liu, Gang Tan, Kiwan Maeng

개요

본 논문은 MPC(Multi-Party Computation) 기반 기계 학습(ML)의 성능 병목 현상을 해결하기 위해 개발된 컴파일러 CrypTorch를 소개한다. CrypTorch는 MPC 환경에서 Softmax나 GELU와 같은 ML 연산을 수행하기 위한 기존의 근사 방식을 개선하고, 새로운 근사를 쉽게 추가하며, 성능과 정확도를 최대화하는 근사를 자동으로 선택한다. PyTorch 2의 컴파일러를 기반으로 구축되었으며, 자동 튜닝만으로도 기존 최적화된 기반보다 최대 1.7배, 정확도 저하를 허용할 경우 최대 1.8배의 속도 향상을 보였다. 또한, CrypTen과 비교하여 전체 프레임워크에서 최대 8.6배의 엔드 투 엔드 속도 향상을 달성했다.

시사점, 한계점

시사점:
MPC 기반 ML의 성능 병목 현상을 해결하기 위한 컴파일러 개발.
근사 방식의 효율적인 관리 및 자동 선택을 통해 성능과 정확도 향상.
PyTorch 2 컴파일러를 기반으로 한 쉬운 통합 및 확장성.
CrypTen 대비 상당한 속도 향상 달성.
한계점:
구체적인 MPC 프레임워크의 상세 구현 및 보안 관련 내용 부족.
다양한 ML 모델 및 데이터셋에 대한 광범위한 평가 필요.
실제 MPC 환경에서의 적용 및 확장성에 대한 추가 연구 필요.
👍