Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
Created by
Haebom
저자
Anja Surina, Amin Mansouri, Lars Quaedvlieg, Amal Seddas, Maryna Viazovska, Emmanuel Abbe, Caglar Gulcehre
개요
본 논문은 복잡한 문제에 대한 효율적인 알고리즘 발견을 위해 대규모 언어 모델(LLM) 기반 진화적 탐색에 강화 학습(RL)을 통합하는 새로운 방법을 제안합니다. 기존의 LLM 기반 진화적 탐색 방법들이 LLM을 정적인 생성기로 취급하는 것과 달리, 본 논문에서는 진화적 탐색 과정에서 얻은 신호를 이용하여 LLM 자체를 지속적으로 개선하는 접근 방식을 제시합니다. RL을 통해 LLM의 정책을 최적화함으로써, 진화적 탐색의 탐색 효율을 향상시키고 더 나은 알고리즘 발견을 가능하게 합니다. 빈 패킹, 외판원 순회 문제, 플랫팩 문제 등 세 가지 조합 최적화 문제에 대한 실험 결과를 통해 RL과 진화적 탐색의 결합이 개선된 알고리즘 발견 효율을 높이는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 진화적 탐색에 RL을 적용하여 알고리즘 발견 효율을 향상시킬 수 있음을 보여줌.
◦
LLM을 정적인 도구가 아닌, 학습 가능한 요소로 활용하여 알고리즘 설계 과정을 자동화하고 가속화할 가능성 제시.
