Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SPD: Sync-Point Drop for Efficient Tensor Parallelism of Large Language Models

Created by
  • Haebom

저자

Han-Byul Kim, Duc Hoang, Arnav Kundu, Mohammad Samragh, Minsik Cho

개요

본 논문은 대규모 언어 모델(LLM)의 분산 추론에서 발생하는 통신 오버헤드 문제를 해결하기 위해 새로운 최적화 기법인 Sync-Point Drop (SPD)을 제안합니다. SPD는 텐서 병렬 처리에서 어텐션 출력에 대한 동기화를 선택적으로 생략하여 통신 오버헤드를 줄입니다. 이는 어텐션 블록의 설계 변경과 정확도 민감도에 따른 SPD 전략 적용을 통해 이루어집니다. 실험 결과, LLaMA2-70B 모델의 8개 GPU 분산 추론에서 약 20%의 추론 지연 시간 감소와 1% 미만의 정확도 저하를 달성했습니다.

시사점, 한계점

•
시사점:
◦
LLM 분산 추론의 통신 오버헤드 감소를 위한 효과적인 최적화 기법인 SPD 제시.
◦
텐서 병렬 처리의 확장성 및 저지연성 향상에 기여.
◦
LLaMA2-70B 실험 결과를 통해 성능 향상을 검증.
◦
다양한 분산 환경에 적용 가능한 확장 가능한 솔루션 제공.
•
한계점:
◦
SPD 전략의 최적화 및 어텐션 블록의 민감도 분석에 대한 추가 연구 필요.
◦
다양한 LLM 아키텍처 및 크기에 대한 일반화 가능성 검증 필요.
◦
다른 분산 추론 기법과의 비교 분석 필요.
◦
정확도 저하에 대한 허용 가능한 수준 설정에 대한 추가 연구 필요.
👍
Made with Slashpage