Complex LLM Planning via Automated Heuristics Discovery
작성자
- Haebom
카테고리
비어 있음
저자
Hongyi Ling, Shubham Parashar, Sambhav Khurana, Blake Olson, Anwesha Basu, Gaurangi Sinha, Zhengzhong Tu, James Caverlee, Shuiwang Ji
개요
본 논문은 복잡한 계획 과제를 위한 대규모 언어 모델(LLM) 향상에 대해 다룹니다. 기존 방법들은 LLM이 계획을 세우기 위해 중간 단계를 탐색할 수 있도록 하지만, 이러한 단계들을 평가하기 위해 신뢰할 수 없는 자체 검증이나 외부 검증기에 의존하며, 상당한 데이터와 계산을 필요로 합니다. 본 논문에서는 추론 시 검색을 안내하는 휴리스틱 함수를 명시적으로 생성하여 중간 상태를 정확하게 평가할 수 있도록 하는 새로운 방법인 자동 휴리스틱 발견(AutoHD)을 제안합니다. 이러한 휴리스틱 함수는 휴리스틱 진화 과정을 통해 더욱 개선되어 그 강력함과 효율성이 향상됩니다. 제안된 방법은 추가적인 모델 훈련이나 미세 조정이 필요 없으며, LLM이 생성한 휴리스틱 함수의 명시적인 정의는 해석 가능성과 추론 과정에 대한 통찰력을 제공합니다. 다양한 벤치마크에 대한 광범위한 실험은 여러 기준 모델에 비해 상당한 성능 향상을 보여주며, 일부 데이터셋에서는 정확도가 거의 두 배에 달하는 결과를 통해 제안된 방법이 복잡한 계획 과제에 대한 신뢰할 수 있고 해석 가능한 솔루션임을 입증합니다.
시사점, 한계점
•
시사점:
◦
LLM의 계획 능력 향상을 위한 새로운 접근법인 AutoHD 제시
◦
추가적인 모델 훈련이나 미세 조정 없이 휴리스틱 함수를 자동으로 생성하고 진화시켜 성능 향상
◦
생성된 휴리스틱 함수의 명시적 정의를 통해 해석 가능성 및 추론 과정에 대한 통찰력 제공
◦
다양한 벤치마크에서 기존 방법 대비 상당한 성능 향상 확인
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
◦
다양한 유형의 계획 과제에 대한 적용성 평가 필요
◦
휴리스틱 함수 진화 과정의 효율성 개선 필요
