Towards a General Framework for HTN Modeling with LLMs
Created by
Haebom
Category
Empty
저자
Israel Puerta-Merino, Carlos Nunez-Molina, Pablo Mesejo, Juan Fernandez-Olivares
개요
본 논문은 대규모 언어 모델(LLM)을 활용한 자동 계획(AP) 모델 생성 연구의 일환으로, 특히 계층적 계획(HP) 모델 생성에 초점을 맞춘다. 기존 연구에서 비계층적 AP 모델에 비해 HP 모델 생성의 발전이 미흡하다는 점에 착안하여, HP 모델 생성을 지원하는 L2HP라는 프레임워크를 개발하고, AP와 HP 모델 생성 능력을 비교하는 실험을 수행한다.
시사점, 한계점
•
L2HP 프레임워크 제안: HP 모델 생성을 위한 LLM 기반 프레임워크를 개발하여 연구의 기반을 마련함.
•
AP와 HP 모델 생성 능력 비교 실험: PlanBench 데이터셋을 사용하여 LLM의 AP와 HP 모델 생성 능력을 비교 분석함.
•
HP 모델 생성의 어려움 확인: 파싱 성공률은 유사하지만, 구문적 유효성은 HP 모델에서 현저히 낮게 나타나, LLM이 HP 모델 생성에 어려움을 겪는다는 것을 확인함.
•
추가 연구 필요성 강조: LLM을 이용한 고품질 HP 모델 생성을 위한 추가 연구의 필요성을 제기함.
•
제한적인 파싱 성공률: AP와 HP 모두에서 파싱 성공률이 약 36%로 제한적임.
•
HP 모델의 낮은 구문적 유효성: HP 모델의 구문적 유효성은 1%로, AP 모델(20%)에 비해 현저히 낮음.
