Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

Created by
  • Haebom

저자

Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

개요

HeurAgenix는 대규모 언어 모델(LLM)을 활용한 2단계 하이퍼 휴리스틱 프레임워크입니다. 먼저 휴리스틱을 진화시키고, 그 중에서 자동으로 선택하는 방식입니다. 휴리스틱 진화 단계에서는 LLM이 시드 휴리스틱 솔루션과 고품질 솔루션을 비교하여 재사용 가능한 진화 전략을 추출합니다. 문제 해결 중에는 LLM의 인식 능력에 따라 각 문제 상태에 가장 유망한 휴리스틱을 동적으로 선택합니다. 선택기는 최첨단 LLM 또는 미세 조정된 경량 모델이 될 수 있으며, 경량 모델은 추론 비용이 낮습니다. 조합 최적화 문제의 복잡성으로 인한 신뢰할 수 있는 감독의 부족을 완화하기 위해, 선택 기본 설정과 상태 인식으로부터 신호를 함께 활용하는 이중 보상 메커니즘으로 경량 휴리스틱 선택기를 미세 조정하여 노이즈가 있는 주석에서도 강력한 선택을 가능하게 합니다. 기존의 LLM 기반 하이퍼 휴리스틱을 능가하고 전문 솔버와 비슷하거나 더 나은 성능을 보이는 것을 표준 벤치마크에서 광범위한 실험을 통해 보여줍니다. 코드는 https://github.com/microsoft/HeurAgenix 에서 확인 가능합니다.

시사점, 한계점

•
시사점:
◦
LLM을 활용하여 휴리스틱 알고리즘을 자동으로 설계 및 선택하는 새로운 프레임워크를 제시합니다.
◦
기존 LLM 기반 하이퍼 휴리스틱 및 전문 솔버를 능가하거나 비슷한 성능을 보입니다.
◦
조합 최적화 문제 해결에 대한 새로운 접근 방식을 제공합니다.
◦
경량 모델을 사용하여 추론 비용을 낮출 수 있습니다.
◦
이중 보상 메커니즘을 통해 노이즈가 있는 주석에서도 강력한 성능을 보입니다.
•
한계점:
◦
LLM의 성능에 의존적일 수 있습니다.
◦
특정 유형의 조합 최적화 문제에 대해서는 성능이 저하될 수 있습니다.
◦
대규모 데이터셋이 필요할 수 있습니다.
◦
LLM의 해석성이 부족할 수 있습니다.
◦
이중 보상 메커니즘의 최적화 파라미터 설정이 중요합니다.
👍
Made with Slashpage