본 논문은 대규모 언어 모델(LLM) 기반 에이전트의 지시사항 준수 능력을 평가하기 위한 새로운 벤치마크, AgentIF를 제안합니다. AgentIF는 실제 에이전트 애플리케이션 50개에서 수집한 707개의 인간 주석이 달린 지시사항으로 구성되며, 평균 1,723 단어(최대 15,630 단어)의 긴 지시사항과 평균 11.9개의 복잡한 제약 조건(도구 사양, 조건 제약 등)을 특징으로 합니다. AgentIF를 사용하여 기존의 최첨단 LLM들을 평가한 결과, 복잡한 제약 조건과 도구 사양 처리에서 LLM들의 성능이 저조함을 확인하였고, 지시사항 길이와 메타 제약 조건에 대한 오류 분석 및 분석 실험을 통해 LLM의 실패 모드에 대한 통찰을 제공합니다. 코드와 데이터를 공개하여 향후 연구를 지원합니다.
