Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis

Created by
  • Haebom

저자

Hanyu Li, Haoyu Liu, Tingyu Zhu, Tianyu Guo, Zeyu Zheng, Xiaotie Deng, Michael I. Jordan

개요

본 논문은 대규모 언어 모델(LLM)을 데이터 분석 에이전트로 활용하는 데 있어 기존 벤치마크의 한계를 지적하며, 반복적인 상호작용 과정을 고려한 새로운 벤치마크 IDA-Bench를 제시합니다. IDA-Bench는 복잡한 Kaggle 노트북에서 파생된 과제를 LLM이 시뮬레이션한 사용자의 순차적인 자연어 명령어로 제시하고, 에이전트의 최종 수치 결과를 사람이 도출한 결과와 비교하여 성능을 평가합니다. 실험 결과, Claude-3.7-thinking과 같은 최첨단 코딩 에이전트조차 과제의 50% 미만에서 성공하여, 단일 회차 테스트에서는 드러나지 않았던 LLM의 한계를 보여줍니다. 따라서 본 연구는 신뢰할 수 있는 데이터 분석 에이전트를 구축하기 위해 LLM의 다회차 상호작용 능력 향상 및 명령어 준수와 추론 간의 균형 달성이 필요함을 강조합니다.

시사점, 한계점

시사점:
LLM 기반 데이터 분석 에이전트의 성능 평가를 위한 새로운 벤치마크 IDA-Bench 제시
단일 회차 테스트로는 드러나지 않는 LLM의 다회차 상호작용 능력의 한계를 밝힘
LLM의 명령어 준수 능력과 추론 능력 간의 균형 달성의 중요성 강조
향후 LLM 기반 데이터 분석 에이전트 개발 방향 제시
한계점:
IDA-Bench가 Kaggle 노트북에 기반하여 만들어졌으므로, 실제 데이터 분석 작업의 다양성을 완벽하게 반영하지 못할 수 있음.
LLM 시뮬레이션 사용자의 한계로 인해 실제 사용자의 행동과 차이가 발생할 수 있음.
현재는 최첨단 모델의 성능조차 50% 미만으로 제한적인 성공률을 보여주어, 향후 더욱 발전된 모델과 벤치마크가 필요함.
👍