SheetAgent: Towards A Generalist Agent for Spreadsheet Reasoning and Manipulation via Large Language Models
Created by
- Haebom
Category
Empty
저자
Yibin Chen, Yifu Yuan, Zeyu Zhang, Yan Zheng, Jinyi Liu, Fei Ni, Jianye Hao, Hangyu Mao, Fuzheng Zhang
개요
본 논문은 실제 세계의 복잡하고 현실적인 작업에서 추론 과제가 존재하는 (예: 다단계 추론과 모호한 요구 사항을 포함하는 장기간 조작) 복잡한 스프레드시트 조작을 위한 대규모 언어 모델(LLM)의 활용을 연구합니다. 기존 연구의 한계를 극복하기 위해, 장기간 및 다중 범주 작업을 특징으로 하며 실생활의 어려움으로 인한 추론 의존적 조작이 포함된 SheetRM이라는 벤치마크를 제시합니다. 또한 LLM의 기능을 활용하는 새로운 자율 에이전트인 SheetAgent를 제안합니다. SheetAgent는 계획자, 정보 제공자, 검색자의 세 가지 모듈로 구성되어 반복적인 작업 추론 및 반성을 통해 인간의 상호 작용 없이 고급 추론과 정확한 스프레드시트 조작을 달성합니다. 실험 결과, SheetAgent는 여러 벤치마크에서 기준선보다 20~40%의 통과율 향상을 보이며, 스프레드시트 조작의 정확성을 높이고 우수한 표 추론 능력을 보여줍니다. 프로젝트 웹사이트(https://sheetagent.github.io/), 데이터셋 및 소스 코드(https://anonymous.4open.science/r/SheetAgent)를 공개합니다.
시사점, 한계점
•
시사점:
◦
실제 세계의 복잡한 스프레드시트 조작 과제에 대한 새로운 벤치마크(SheetRM) 제공.
◦
LLM 기반의 자율 에이전트(SheetAgent)를 통해 장기간, 다단계 추론 및 모호한 요구사항을 포함하는 스프레드시트 조작 문제 해결.
◦
기존 방법 대비 20-40% 향상된 스프레드시트 조작 정확도 및 추론 능력을 실험적으로 입증.
◦
SheetRM 데이터셋과 SheetAgent 소스 코드 공개를 통한 연구 재현성 및 확장성 제고.
•
한계점:
◦
SheetRM 벤치마크의 범용성 및 일반화 가능성에 대한 추가 연구 필요.
◦
SheetAgent의 성능이 특정 유형의 스프레드시트 작업에 편향될 가능성 존재.
◦
실제 세계의 다양한 스프레드시트 작업 유형에 대한 SheetAgent의 적용 가능성 및 견고성에 대한 추가 검증 필요.
◦
LLM의 한계로 인한 추론 오류 발생 가능성.
