Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study
Created by
Haebom
저자
Yuqi Zhu, Yi Zhong, Jintian Zhang, Ziheng Zhang, Shuofei Qiao, Yujie Luo, Lun Du, Da Zheng, Huajun Chen, Ningyu Zhang
개요
본 논문은 오픈소스 대규모 언어 모델(LLM)의 데이터 분석 능력 향상 전략을 연구합니다. 다양한 현실적인 시나리오로 구성된 시드 데이터셋을 활용하여 데이터 이해, 코드 생성, 전략적 계획 세 가지 측면에서 모델을 평가합니다. 평가 결과, 전략적 계획 품질이 모델 성능의 주요 결정 요인이며, 상호 작용 디자인과 과제 복잡성이 추론 능력에 상당한 영향을 미치고, 데이터 품질이 다양성보다 최적 성능 달성에 더 큰 영향을 미친다는 세 가지 주요 결과를 도출합니다. 이러한 통찰력을 바탕으로 데이터 합성 방법론을 개발하여 오픈소스 LLM의 분석적 추론 능력을 크게 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
오픈소스 LLM의 데이터 분석 능력 향상을 위한 데이터 합성 방법론 제시
◦
모델 성능 향상을 위한 전략적 계획, 상호작용 디자인, 데이터 품질의 중요성 강조
◦
데이터 품질이 데이터 다양성보다 성능 향상에 더 큰 영향을 미침을 밝힘
•
한계점:
◦
연구에 사용된 시드 데이터셋의 일반화 가능성 및 한계
◦
제시된 데이터 합성 방법론의 다른 오픈소스 LLM 및 다양한 데이터 분석 과제에 대한 적용성 검증 필요
