Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Debunking the CUDA Myth Towards GPU-based AI Systems

Created by
  • Haebom
Category
Empty

저자

Yunjae Lee, Juntaek Lim, Jehyeon Bang, Eunyeong Cho, Huijong Jeong, Taesu Kim, Hyungjun Kim, Joonhyung Lee, Jinseop Im, Ranggi Hwang, Se Jung Kwon, Dongsoo Lee, Minsoo Rhu

개요

본 논문은 AI 시스템 설계에서 사실상 표준인 NVIDIA GPU에 대한 대안으로 Intel Gaudi NPU를 종합적으로 평가합니다. Intel Gaudi-2와 NVIDIA A100을 비교하는 마이크로 벤치마크 세트를 생성하여 기본적인 AI 연산, 메모리 및 통신 작업뿐 아니라 여러 중요한 AI 워크로드의 종단 간 실행에서 Gaudi-2가 경쟁력 있는 성능을 달성함을 보여줍니다. 또한 중요한 FBGEMM 연산자 및 vLLM 구현을 위한 여러 소프트웨어 수준 최적화 전략을 논의하여 Gaudi NPU의 프로그래밍 가능성을 평가하고, GPU 최적화된 대응물과의 효율성을 비교합니다. 결과적으로 Gaudi-2는 A100과 비슷한 에너지 효율을 달성하지만 소프트웨어 성숙도 측면에서는 개선의 여지가 있음을 보여줍니다. 결론적으로, 고수준 AI 프레임워크에 효과적으로 통합되면 Gaudi NPU는 AI 서버 시장에서 NVIDIA GPU의 지배력에 도전할 수 있지만, NVIDIA의 강력한 소프트웨어 생태계와 완전히 경쟁하려면 추가적인 개선이 필요합니다.

시사점, 한계점

시사점:
Intel Gaudi-2는 NVIDIA A100과 비교하여 경쟁력 있는 성능과 에너지 효율을 제공합니다.
고수준 AI 프레임워크와의 효과적인 통합을 통해 NVIDIA GPU의 시장 지배력에 도전할 가능성이 있습니다.
한계점:
NVIDIA GPU에 비해 소프트웨어 성숙도가 낮습니다.
NVIDIA의 강력한 소프트웨어 생태계와의 완벽한 경쟁을 위해서는 추가적인 개선이 필요합니다.
👍