본 논문은 빠르게 발전하는 이기종 하드웨어에서 최첨단 AI 애플리케이션을 개발하는 과정에서 발생하는 소프트웨어 스택 재작업의 어려움을 해결하기 위해, 이식성과 성능을 모두 제공하는 새로운 AI 애플리케이션 통신 라이브러리 인터페이스 MSCCL++를 제안한다. MSCCL++는 관심사 분리(primitive interface와 higher-level portable interfaces)를 기반으로 GPU 통신을 추상화하여, 하드웨어 추상화 계층을 제공함과 동시에 다양한 하드웨어 환경에 대한 최적화를 가능하게 한다. 이는 기본 인터페이스의 재사용성을 높이면서 유연한 최적화를 가능하게 한다. 실험 결과, 기존 기술(NCCL, RCCL, MSCCL) 대비 집합적 통신에서 최대 3.8배, 실제 AI 추론 작업량에서 최대 15%의 속도 향상을 달성했다. 현재 Microsoft Azure의 여러 AI 서비스에 배포되었으며, AMD의 GPU 집합적 통신 라이브러리인 RCCL에도 채택되었다.
시사점, 한계점
•
시사점:
◦
이기종 하드웨어 환경에서 AI 애플리케이션 개발의 효율성을 크게 향상시킬 수 있다.
◦
기존 라이브러리 대비 성능 향상을 통해 AI 애플리케이션의 속도를 높일 수 있다.
◦
MSCCL++의 오픈소스 공개를 통해 AI 커뮤니티에 기여하고, 다양한 애플리케이션에서 재사용 가능하다.
◦
관심사 분리 기반 설계는 유연성과 확장성을 제공한다.
•
한계점:
◦
논문에서 제시된 성능 향상은 특정 하드웨어 및 작업량에 대한 결과일 수 있으며, 일반화에는 추가적인 연구가 필요하다.
