PolyWorkBench: Benchmarking Multilingual Long-Horizon LLM Agents

작성자

Haebom

카테고리

Empty

저자

Hongliang Li, Yijin Liu, Zhiwei Zhang, Zihe Liu, Xinyue Lou, Jinan Xu, Fandong Meng, Kaiyu Huang

💡 개요

본 논문은 다국어 환경에서 LLM 에이전트의 장기 작업 수행 능력을 평가하는 새로운 벤치마크인 PolyWorkBench를 제안한다. PolyWorkBench는 상업, 지식 노동, 법률 분석 등 다섯 가지 도메인에서 67개의 작업을 포함하며, 에이전트는 이질적인 다국어 입력을 처리하고 반복적인 추론, 도구 사용, 구조화된 출력을 생성해야 한다. 제안된 하이브리드 평가 프레임워크는 구조적 채점, 실행 검증, LLM 기반 의미 평가를 결합하여 복잡한 워크플로우에서의 기능적 정확성과 언어적 일관성을 포괄적으로 측정한다.

🔑 시사점 및 한계

•

LLM 에이전트는 다국어 환경에서 단일 언어 환경 대비 상당한 성능 저하를 겪으며, 이는 복잡한 워크플로우에서 언어 변형과 절차적 의사결정을 함께 모델링하는 것의 중요성을 강조한다.

•

기존 벤치마크는 주로 단일 언어 환경을 가정하여 실제 다국어 환경에서의 LLM 에이전트 성능을 제대로 평가하지 못하고 있음을 보여준다.

•

PolyWorkBench는 다국어 장기 작업에서 LLM 에이전트의 성능을 종합적으로 평가할 수 있는 프레임워크를 제공한다.

•

향후 과제로는 더 다양한 작업 유형 및 언어 조합을 포함하는 벤치마크 확장과, 다국어 환경에서의 LLM 에이전트 성능 저하를 완화하기 위한 새로운 에이전트 설계 및 훈련 방법론 연구가 필요하다.

PDF 보기

Made with Slashpage