본 논문은 대규모 언어 모델(LLM)의 계획 및 추론 능력 향상을 위한 확장 가능한 평가 데이터 부족 문제를 해결하기 위해, 워크플로 계획 문제를 자동으로 생성하고 평가하는 파이프라인 NL2Flow를 제시합니다. NL2Flow는 구조화된 중간 표현으로 문제를 매개변수화하여 자연어와 공식적인 PDDL로 변환합니다. 2296개의 저난이도 문제 데이터셋을 사용하여 여러 오픈소스, 지시 조정된 LLM을 평가한 결과, 최고 성능 모델은 유효한 계획 생성에서 86%, 최적 계획 생성(해결 가능한 문제에 대해)에서 69%의 성공률을 달성했습니다. 회귀 분석 결과, 문제 특성이 계획 생성에 미치는 영향은 모델과 프롬프트 설계에 따라 달라짐을 보여줍니다. 특히, 자연어 문제를 구조화된 JSON 표현으로 변환한 후 심볼릭 계획을 수행하는 것이 성공률을 크게 향상시켜 신경 기호 통합의 이점을 시사합니다. LLM 추론이 더 복잡한 작업으로 확장됨에 따라 시스템 내 오류 원인을 이해하는 것이 중요함을 강조합니다.
