Energy Consumption of Dataframe Libraries for End-to-End Deep Learning Pipelines:A Comparative Analysis
Created by
Haebom
Category
Empty
저자
Punit Kumar, Asif Imran, Tevfik Kosar
개요
본 논문은 딥러닝(DL) 훈련 및 추론 파이프라인에 통합된 Pandas, Polars, Dask 등 세 가지 주요 Python 데이터 조작 라이브러리의 성능을 비교 분석합니다. 데이터 로딩, 전처리, 배치 피딩과 같은 중요한 단계에서 이러한 라이브러리가 상당한 GPU 작업 부하와 어떻게 상호 작용하는지 연구하여 기존 연구의 격차를 해소합니다. 연구진은 다양한 머신 러닝 모델과 데이터 세트에서 런타임, 메모리 사용량, 디스크 사용량, 에너지 소비(CPU 및 GPU 모두)와 같은 주요 성능 지표를 측정했습니다.
시사점, 한계점
•
Pandas, Polars, Dask를 딥러닝 파이프라인에 통합하여 GPU 작업 부하 환경에서의 성능 비교 분석을 제공합니다.
•
데이터 로딩, 전처리, 배치 피딩 단계에서의 성능을 측정하여 실제 딥러닝 워크로드에 대한 시사점을 제공합니다.
•
런타임, 메모리 사용량, 디스크 사용량, 에너지 소비 등 다양한 지표를 측정하여 종합적인 성능 분석을 수행합니다.
•
논문의 구체적인 결과 및 한계점은 Abstract 내용만으로는 파악할 수 없으므로, 원문 확인이 필요합니다.
