Zero-Shot Goal Recognition with Large Language Models

작성자

Haebom

카테고리

Empty

저자

Kin Max Piamolini Gusmao, Nathan Gavenski, Nir Oren, Felipe Meneguzzi

💡 개요

본 논문은 대규모 언어 모델(LLM)이 고전적인 계획 문제에서 이미 뛰어난 성능을 보여주고 있지만, 실제 세계 지식 활용에 기반한 것이라는 점에 주목합니다. 목표 인식은 LLM의 강점과 더 잘 맞는 귀납적 추론 작업으로, 행동 순서 생성이 아닌 세계 지식과의 일관성 평가에 초점을 맞춥니다. 본 연구는 다양한 최신 LLM을 대상으로 PDDL 벤치마크에서 제로샷 목표 인식 능력을 체계적으로 평가하여, LLM의 목표 인식 능력이 모델별로 상이하며 증거 통합 방식에 근본적인 차이가 있음을 밝혔습니다.

🔑 시사점 및 한계

•

LLM은 목표 인식 작업에서 잠재력을 보여주지만, 증거 통합 방식에 따라 성능이 크게 달라집니다.

•

목표 인식은 LLM의 근본적인 계획 지식을 평가하는 데 유용한 벤치마크 역할을 할 수 있습니다.

•

현재 LLM은 모델별로 증거 통합 능력이 상이하며, 이는 향후 LLM의 계획 관련 능력 향상을 위한 중요한 연구 방향을 제시합니다.

PDF 보기

Made with Slashpage