Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Tempo: Compiled Dynamic Deep Learning with Symbolic Dependence Graphs

Created by
  • Haebom

저자

Pedro F. Silvestre, Peter Pietzuch

개요

Tempo는 eager 실행의 동적 특성과 graph 기반 컴파일의 전체 프로그램 최적화를 결합한 새로운 딥러닝(DL) 시스템이다. 재귀 텐서를 사용하는 선언적 프로그래밍 모델을 통해 동적 종속성을 간결하게 표현하고 전체 프로그램 최적화를 적용한다. Tempo는 기호 종속성 그래프를 구축하여 연산자 간의 동적 종속성을 인코딩하고, 대수적 단순화, 벡터화, 타일링 및 융합과 같은 최적화를 적용한다. 동적 종속성을 정적 크기 블록으로 타일링하여 기존 정적 코드 생성기를 재사용하고, 폴리헤드럴 모델을 사용하여 실행 스케줄을 찾는다. Llama-3.2-3B 디코딩에서 JAX보다 7배, 강화 학습 알고리즘에서 54배의 속도 향상과 16배 낮은 최대 메모리 사용량을 달성했다.

시사점, 한계점

시사점:
eager 실행의 동적 특성과 graph 기반 컴파일의 전체 프로그램 최적화를 결합하여 딥러닝 시스템의 성능 향상을 이끌었다.
Llama-3.2-3B 디코딩에서 JAX보다 7배, 강화 학습 알고리즘에서 54배의 속도 향상을 보였다.
동적 종속성을 효율적으로 처리하여 16배 낮은 최대 메모리 사용량을 달성했다.
한계점:
구체적인 한계점은 논문에서 제시되지 않음.
👍