대형 언어 모델(LLM)은 도구 지원, 프롬프트 엔지니어링 또는 미세 조정 없이는 에이전트 작업 수행에 어려움을 겪는 경우가 많습니다. 도메인 종속적이고 절차적인 지식이 계획 효율성을 크게 향상시킬 수 있다는 연구 결과에도 불구하고, 암묵적인 계획이 필요할 수 있는 에이전트 작업에 대한 LLM 성능 향상 가능성을 평가하는 연구는 거의 없습니다. 본 논문에서는 계층적 작업 네트워크(HTN) 형태의 절차적 지식을 활용하는 에이전트 LLM 워크플로우를 공식화, 구현 및 평가했습니다. 실험 결과에 따르면, 손으로 코딩된 HTN은 에이전트 작업에서 LLM 성능을 크게 향상시킬 수 있으며, HTN을 사용하면 200억 또는 700억 매개변수 LLM이 훨씬 큰 1200억 매개변수 LLM 기본 성능을 능가할 수 있습니다. 또한 LLM이 생성한 HTN도 전반적인 성능을 향상시키지만, 그 효과는 상대적으로 적습니다. 이 결과는 인간, 문서 또는 LLM으로부터 전문 지식을 활용하여 절차적 지식을 큐레이팅하는 것이 LLM 워크플로우 개선을 위한 또 다른 중요한 도구가 될 것임을 시사합니다.
