Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

How Far Are LLMs from Symbolic Planners? An NLP-Based Perspective

Created by
  • Haebom

저자

Ma'ayan Armony, Albert Merono-Penuela, Gerard Canal

개요

본 논문은 대규모 언어 모델(LLM)의 계획 능력을 자연어 처리(NLP) 과제로 접근하여, LLM이 생성한 계획의 질적 평가와 복구 파이프라인을 제안합니다. LLM이 생성한 계획은 종종 오류나 허구적인 행동을 포함하기 때문에, 기존의 성공률 중심 평가 방식 대신 NLP 기반 평가와 세 단계의 계획 복구 과정(NLP 조작 및 기호적 계획자 활용)을 통해 LLM 계획의 품질을 종합적으로 분석합니다. 실험 결과, LLM의 계획 생성 과정에서 명확한 추론 능력이 드러나지 않았으며, 제안된 파이프라인 역시 기존의 기호적 계획자 수준의 품질과 신뢰성에는 미치지 못함을 보여줍니다. 평균적으로 계획의 처음 2.65개 행동만 실행 가능했고, 기호적 계획자를 통해 생성된 계획의 평균 길이는 8.4개 행동이었습니다. 파이프라인 적용으로 행동의 질은 향상되었고, 전체 성공률은 21.9%에서 27.5%로 증가했습니다.

시사점, 한계점

시사점: LLM의 계획 능력을 NLP 관점에서 분석하는 새로운 접근 방식을 제시하고, LLM 생성 계획의 질적 평가 및 복구를 위한 파이프라인을 개발했습니다. LLM 계획의 성공률을 높이는 데 기여했습니다.
한계점: LLM의 계획 생성 과정에서 명확한 추론 능력이 확인되지 않았으며, 제안된 파이프라인의 성능은 기존 기호적 계획자에 비해 낮았습니다. 평균적으로 계획의 초반부만 실행 가능하다는 점에서 LLM의 계획 능력에 대한 개선이 필요함을 시사합니다. LLM 기반 계획의 신뢰성 확보에 대한 추가적인 연구가 필요합니다.
👍