Frontier: Simulating the Next Generation of LLM Inference Systems
Created by
Haebom
저자
Yicheng Feng, Xin Tan, Kin Hang Sew, Yimin Jiang, Yibo Zhu, Hong Xu
개요
본 논문은 Mixture-of-Experts(MoE) 모델 및 사전 채우기/디코딩(PD) 또는 어텐션/FFN(AF)과 같은 구성 요소를 분리하는 분산 아키텍처의 부상으로 인해 점점 더 복잡해지는 대규모 언어 모델(LLM) 추론을 다룹니다. 기존의 시뮬레이터는 공동 배치된 밀집 모델을 위해 설계되었기 때문에 이러한 새로운 패러다임의 복잡한 시스템 역학을 포착할 수 없습니다. 본 논문에서는 이러한 새로운 환경을 위해 처음부터 설계된 고충실도 시뮬레이터인 Frontier를 제시합니다. Frontier는 공동 배치된 시스템과 분산 시스템 모두를 모델링하기 위한 통합 프레임워크를 도입하여 전문가 병렬 처리(EP)를 사용한 MoE 추론을 기본적으로 지원합니다. 클러스터 간 전문가 라우팅 및 지연 숨기기를 위한 고급 파이프라이닝 전략과 같은 복잡한 워크플로의 시뮬레이션을 가능하게 합니다. 정확성을 높이기 위해 개선된 연산자 모델을 통합하여 충실도와 사용 편의성을 보장합니다. Frontier는 커뮤니티가 대규모 LLM 추론의 미래를 설계하고 최적화할 수 있도록 지원합니다.
시사점, 한계점
•
시사점:
◦
MoE 모델 및 분산 아키텍처를 포함한 복잡한 LLM 추론 시스템의 정확한 시뮬레이션을 가능하게 함.
◦
전문가 병렬 처리(EP)를 포함한 다양한 추론 전략의 성능 평가 및 최적화를 지원.
◦
클러스터 간 전문가 라우팅 및 고급 파이프라이닝 전략과 같은 복잡한 워크플로 시뮬레이션 기능 제공.
◦
향상된 연산자 모델을 통한 시뮬레이션 정확도 향상.
◦
LLM 추론 시스템 설계 및 최적화를 위한 새로운 가능성 제시.
•
한계점:
◦
Frontier 시뮬레이터의 실제 LLM 시스템과의 정확도 및 일치성에 대한 자세한 검증 및 평가가 부족.
