Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study

Created by
  • Haebom
Category
Empty

저자

Yuqi Zhu, Yi Zhong, Jintian Zhang, Ziheng Zhang, Shuofei Qiao, Yujie Luo, Lun Du, Da Zheng, Ningyu Zhang, Huajun Chen

개요

본 연구는 대규모 언어 모델(LLM)이 데이터 분석 작업을 자동화하는 데 있어 오픈소스 모델이 가진 한계를 극복하기 위한 전략을 탐구한다. 다양한 현실적인 시나리오로 구성된 초기 데이터셋을 구축하여 데이터 이해, 코드 생성, 전략적 계획 수립이라는 세 가지 핵심 차원에서 모델의 성능을 평가한다. 연구 결과, 전략적 계획 수립의 질이 모델 성능의 주요 결정 요인이며, 상호 작용 설계와 작업의 복잡성이 추론 능력에 큰 영향을 미치고, 데이터 품질이 다양성보다 더 큰 영향을 미치는 것으로 나타났다. 이러한 통찰력을 바탕으로 데이터 합성 방법을 개발하여 오픈소스 LLM의 분석적 추론 능력을 크게 향상시켰다.

시사점, 한계점

•
시사점:
◦
오픈소스 LLM의 데이터 분석 능력 향상을 위한 전략 제시
◦
전략적 계획 수립, 상호 작용 설계, 데이터 품질의 중요성 강조
◦
데이터 합성을 통한 모델 성능 개선 방법 제시
•
한계점:
◦
구체적인 모델 및 데이터셋 관련 정보 부족
◦
제안된 데이터 합성 방법론의 일반화 가능성 추가 검증 필요
◦
다른 데이터 분석 작업에 대한 적용 가능성 추가 연구 필요
👍
Made with Slashpage