VDSAgents: A PCS-Guided Multi-Agent System for Veridical Data Science Automation
Created by
- Haebom
Category
Empty
저자
Yunxuan Jiang (School of Management, Xi'an Jiaotong University), Silan Hu (School of Computing, National University of Singapore), Xiaoning Wang (School of Data Science,Media Intelligence, Communication University of China), Yuanyuan Zhang (Beijing Baixingkefu Network Technology Co., Ltd.), Xiangyu Chang (School of Management, Xi'an Jiaotong University)
개요
대규모 언어 모델(LLM)이 자동화된 시스템 설계에 통합되고 있지만, 과학적 원리 없이 LLM의 내부 추론에만 의존하여 신뢰성과 견고성이 제한적이다. 본 논문은 Veridical Data Science(VDS) 프레임워크의 Predictability-Computability-Stability (PCS) 원리에 기반한 다중 에이전트 시스템인 VDSAgents를 제시한다. VDSAgents는 데이터 정제, 특징 공학, 모델링, 평가를 위한 모듈식 워크플로우를 구현하며, 각 단계는 섭동 분석, 단위 테스트 및 모델 검증을 통합하여 기능성과 과학적 감사 가능성을 보장한다. DeepSeek-V3와 GPT-4o를 백엔드로 사용하여 다양한 특성의 9개의 데이터 세트에서 AutoKaggle 및 DataInterpreter와 같은 최첨단 end-to-end 데이터 과학 시스템과 비교 평가한 결과, VDSAgents가 일관되게 우수한 성능을 보였다.
시사점, 한계점
•
시사점:
◦
PCS 원리를 LLM 기반 데이터 과학 자동화에 통합하는 가능성을 입증.
◦
AutoKaggle 및 DataInterpreter보다 우수한 성능 달성.
◦
섭동 분석, 단위 테스트, 모델 검증을 통한 기능성과 과학적 감사 가능성 확보.
•
한계점:
◦
논문에 구체적인 한계점 언급 없음. (논문 요약 정보만으로는 판단 불가)
