SPD: Sync-Point Drop for efficient tensor parallelism of Large Language Models
Created by
Haebom
저자
Han-Byul Kim, Duc Hoang, Arnav Kundu, Mohammad Samragh, Minsik Cho
개요
본 논문은 대규모 언어 모델(LLM)의 분산 추론 시 발생하는 통신 오버헤드 문제를 해결하기 위해 새로운 최적화 기법인 Sync-Point Drop (SPD)을 제안합니다. SPD는 텐서 병렬 처리에서 어텐션 출력의 동기화를 선택적으로 생략하여 통신 오버헤드를 줄입니다. 이는 어텐션 블록을 설계하여 통신 없이 실행을 진행하고, 모델 정확도에 대한 민감도에 따라 다른 SPD 전략을 적용하는 방식으로 이루어집니다. 결과적으로 LLaMA2-70B 모델을 8개의 GPU에서 추론하는 실험에서 약 20%의 추론 지연 시간 감소와 1% 미만의 정확도 저하를 달성하여 다양한 분산 환경에서 확장 가능한 솔루션을 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM의 분산 추론에서 통신 오버헤드를 효과적으로 줄이는 새로운 기법인 SPD를 제시.
◦
SPD를 통해 추론 지연 시간을 상당히 감소시키면서 정확도 저하를 최소화 가능.
◦
다양한 분산 환경에서 확장 가능한 LLM 추론을 위한 실용적인 솔루션 제공.
•
한계점:
◦
제안된 방법의 효과는 특정 LLM (LLaMA2-70B)과 하드웨어 환경(8개의 GPU)에 대한 실험 결과에 기반. 다른 LLM이나 하드웨어 환경에서의 일반화 가능성에 대한 추가 연구 필요.
◦
SPD 전략의 최적화 파라미터(어떤 어텐션 블록에 SPD를 적용할지, 얼마나 자주 적용할지 등)는 경험적으로 결정. 더욱 효율적인 파라미터 선택 방법에 대한 연구 필요.
◦
정확도 저하가 1% 미만으로 매우 작지만, 특정 애플리케이션에서는 허용되지 않을 수 있음. 정확도와 성능 간의 트레이드오프에 대한 추가 분석 필요.
