Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Generalizable Heuristic Generation Through Large Language Models with Meta-Optimization

Created by
  • Haebom

저자

Yiding Shi, Jianan Zhou, Wen Song, Jieyi Bi, Yaoxin Wu, Jie Zhang

개요

대규모 언어 모델(LLM)을 이용한 휴리스틱 설계는 조합 최적화 문제(COP) 해결에 유망한 접근 방식으로 떠올랐습니다. 하지만 기존 접근 방식은 수동으로 미리 정의된 진화 컴퓨팅(EC) 최적화기와 단일 작업 훈련 방식에 의존하는 경우가 많아 다양한 휴리스틱 알고리즘 탐색을 제한하고 결과 휴리스틱의 일반화를 저해할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 메타 학습 원리를 통해 효과적인 최적화기를 발견하는 최적화기 수준에서 작동하는 새로운 프레임워크인 휴리스틱의 메타 최적화(MoH)를 제안합니다. 구체적으로 MoH는 LLM을 활용하여 (자기) 호출을 통해 다양한 최적화기를 자율적으로 구성하는 메타 최적화기를 반복적으로 개선하여 미리 정의된 EC 최적화기에 대한 의존성을 제거합니다. 이렇게 구성된 최적화기는 후속 작업에 대한 휴리스틱을 진화시켜 더 넓은 휴리스틱 탐색을 가능하게 합니다. 또한 MoH는 다중 작업 훈련 방식을 사용하여 일반화 기능을 향상시킵니다. 고전적인 COP에 대한 실험은 MoH가 효과적이고 해석 가능한 메타 최적화기를 구성하여 다양한 후속 작업, 특히 크기가 다른 설정에서 최첨단 성능을 달성함을 보여줍니다.

시사점, 한계점

시사점:
LLM을 이용한 메타 학습 기반의 새로운 휴리스틱 최적화 프레임워크(MoH) 제안.
미리 정의된 EC 최적화기에 대한 의존성 제거 및 다양한 휴리스틱 알고리즘 탐색 가능.
다중 작업 훈련을 통한 일반화 성능 향상.
다양한 COP에서 최첨단 성능 달성, 특히 크기가 다른 설정에서 우수한 성능.
생성된 메타 최적화기의 해석 가능성.
한계점:
MoH의 성능이 특정 유형의 COP 또는 LLM에 의존할 가능성.
메타 최적화기의 학습 과정의 복잡성 및 계산 비용.
실험의 범위가 제한적일 수 있음. (고전적인 COP에 대한 실험 결과만 제시)
LLM의 크기 및 훈련 데이터의 영향에 대한 추가적인 분석 필요.
👍