Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TextAtari: 100K Frames Game Playing with Language Agents

Created by
  • Haebom

저자

Wenhao Li, Wenwu Li, Chuyun Shen, Junjie Sheng, Zixiao Huang, Di Wu, Yun Hua, Wei Yin, Xiangfeng Wang, Hongyuan Zha, Bo Jin

개요

TextAtari는 최대 10만 단계에 이르는 매우 장기적인 의사결정 과제에서 언어 에이전트를 평가하기 위한 벤치마크입니다. 고전적인 Atari 게임의 시각적 상태 표현을 풍부한 텍스트 설명으로 변환하여 순차적 의사결정과 자연어 처리를 연결하는 어려운 테스트 환경을 만듭니다. 다양한 복잡성, 액션 공간 및 계획 수평선을 가진 약 100개의 고유한 과제를 포함하며, 모두 비지도 표현 학습 프레임워크(AtariARI)를 통해 텍스트로 렌더링됩니다. 세 가지 오픈소스 대규모 언어 모델(Qwen2.5-7B, Gemma-7B, Llama3.1-8B)을 세 가지 에이전트 프레임워크(제로샷, 몇 샷 사고 연쇄, 반성 추론)에서 평가하여 다양한 형태의 사전 지식이 장기 과제에서의 성능에 미치는 영향을 평가합니다. 기본, 은폐, 수동 증강, 참조 기반의 네 가지 시나리오는 의미 이해, 지시 이해 및 전문가 데모가 에이전트 의사결정에 미치는 영향을 조사합니다. 결과는 광범위한 계획 과제에서 언어 에이전트와 인간 플레이어 간의 상당한 성능 차이를 보여주며, 수만 단계에 걸친 순차적 추론, 상태 추적 및 전략적 계획의 어려움을 강조합니다. TextAtari는 표준화된 평가 프로토콜, 기준 구현 및 언어 모델과 계획의 교차점에서 연구를 발전시키기 위한 프레임워크를 제공합니다. 코드는 https://github.com/Lww007/Text-Atari-Agents 에서 사용할 수 있습니다.

시사점, 한계점

•
시사점:
◦
장기적인 의사결정 과제에서 언어 에이전트의 성능을 평가하기 위한 새로운 벤치마크 TextAtari 제시.
◦
다양한 복잡성과 규모의 과제를 통해 언어 모델의 순차적 추론, 상태 추적 및 전략적 계획 능력을 종합적으로 평가 가능.
◦
세 가지 오픈소스 LLM과 세 가지 에이전트 프레임워크를 통한 실험적 결과 제공.
◦
인간 플레이어와의 성능 비교를 통해 언어 에이전트의 한계를 명확하게 제시.
◦
언어 모델과 계획 분야 연구 발전에 기여할 수 있는 표준화된 평가 프로토콜, 기준 구현 및 프레임워크 제공.
•
한계점:
◦
AtariARI를 통한 텍스트 변환 과정에서 정보 손실 가능성.
◦
평가에 사용된 LLM이 제한적이며, 더욱 다양한 모델을 포함한 추가 연구 필요.
◦
수만 단계에 걸친 장기 계획 과제에서의 성능 평가에 대한 추가적인 분석 및 해석 필요.
◦
인간 플레이어와의 성능 비교 시, 인간 플레이어의 전략 및 플레이 스타일의 다양성 고려 필요.
👍
Made with Slashpage