본 논문은 대규모 언어 모델(LLM)의 AI 훈련 및 추론 시스템 성능 최적화를 위해 분산 워크로드 실행을 모델링하는 확장 가능하고 표현력 있는 메커니즘을 제안한다. STAGE(Symbolic Tensor grAph GEnerator)라는 프레임워크를 통해 정확한 LLM 워크로드 실행 추적을 합성한다. STAGE는 다양한 병렬화 전략을 지원하며, LLM 아키텍처 및 시스템 구성을 체계적으로 탐색할 수 있게 해준다. 최대 32K GPU에 걸쳐 고충실도 LLM 추적을 합성하며, 연산, 메모리, 통신 측면에서 텐서 수준의 정확도를 유지한다.
