ELT-Bench: An End-to-End Benchmark for Evaluating AI Agents on ELT Pipelines
Created by
Haebom
저자
Tengjun Jin, Yuxuan Zhu, Daniel Kang
개요
본 논문은 클라우드 데이터 웨어하우스의 확산으로 인해 ELT(Extract-Load-Transform) 파이프라인이 점차 많이 사용되고 있지만, 이러한 파이프라인 설계에는 상당한 수동 작업이 필요하다는 문제를 다룹니다. AI 기반 방법의 발전으로 데이터 작업(예: text-to-SQL)에서 강력한 성능을 보여주고 있으므로, ELT 파이프라인 개발의 수동 작업을 줄일 수 있는 기회가 생겼습니다. 하지만 현재 데이터 엔지니어링 벤치마크는 데이터 도구 사용 및 데이터 변환 쿼리 작성과 같은 개별 작업만 평가하고, 엔드투엔드 ELT 파이프라인을 생성하는 AI 에이전트 평가에는 큰 차이가 있습니다. 이러한 간극을 해소하기 위해, 본 논문에서는 AI 에이전트가 ELT 파이프라인을 구축하는 능력을 평가하도록 설계된 엔드투엔드 벤치마크인 ELT-Bench를 제시합니다. ELT-Bench는 다양한 도메인에 걸쳐 835개의 소스 테이블과 203개의 데이터 모델을 포함한 100개의 파이프라인으로 구성됩니다. 다양한 데이터 소스 통합 및 인기 있는 데이터 도구 사용을 포함하는 현실적인 시나리오를 시뮬레이션하여, ELT-Bench는 복잡한 데이터 엔지니어링 워크플로 처리에서 AI 에이전트의 능력을 평가합니다. AI 에이전트는 데이터베이스 및 데이터 도구와 상호 작용하고, 코드와 SQL 쿼리를 작성하고, 모든 파이프라인 단계를 조정해야 합니다. 본 논문에서는 ELT-Bench에서 여섯 가지 인기 있는 대규모 언어 모델(LLM)을 사용하여 두 가지 대표적인 코드 에이전트 프레임워크인 Spider-Agent와 SWE-Agent를 평가합니다. 실험 결과, 최고 성능의 에이전트인 Spider-Agent Claude-3.7-Sonnet(확장된 사고 기능 포함)조차도 데이터 모델의 3.9%만 정확하게 생성했으며, 파이프라인당 평균 비용은 $4.30, 단계는 89.3단계였습니다. 실험 결과는 ELT-Bench의 어려움을 보여주고 ELT 워크플로에서 수동 작업을 줄이기 위한 더욱 발전된 AI 에이전트의 필요성을 강조합니다. 코드와 데이터는 https://github.com/uiuc-kang-lab/ETL.git 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점: ELT 파이프라인 생성을 위한 AI 에이전트의 현황과 한계를 명확히 보여주는 새로운 벤치마크(ELT-Bench)를 제시. 현재 AI 기술로는 복잡한 ELT 파이프라인 자동 생성에 어려움이 있음을 실험적으로 증명. 향후 AI 에이전트 개발 방향 제시.
•
한계점: 평가된 AI 에이전트의 성능이 아직 낮음. ELT-Bench의 규모 및 복잡성이 향후 더욱 확장될 필요성. 실제 산업 환경에서의 적용 가능성에 대한 추가 연구 필요. 비용 효율성 개선 필요.
