Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression

Created by
  • Haebom

저자

Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

개요

본 논문은 대규모 언어 모델(LLM)을 사용하여 진화적 기호 회귀 알고리즘을 위한 선택 연산자를 자동으로 설계하는 메타 학습 프레임워크를 제안합니다. 기존의 LLM 기반 알고리즘 진화 기법의 두 가지 주요 한계점인 의미론적 지침 부족과 코드 과다를 해결하기 위해, 의미론을 고려한 보완적인 선택 연산자와 코드 과다 제어 기능을 도입하였습니다. 또한, 도메인 지식을 프롬프트에 포함시켜 LLM이 더 효과적이고 문맥에 맞는 선택 연산자를 생성하도록 하였습니다. 실험 결과, LLM이 9개의 전문가가 설계한 기준 알고리즘을 능가하는 성능을 달성하며 최첨단 성능을 기록하였고, 116개의 회귀 데이터 세트에 걸쳐 26개의 기호 회귀 및 기계 학습 알고리즘 중 최고 성능을 달성함을 보여줍니다. 이는 LLM이 기호 회귀를 위한 전문가 수준의 알고리즘 설계를 능가할 수 있음을 보여줍니다.

시사점, 한계점

시사점:
LLM을 활용하여 기호 회귀 알고리즘의 선택 연산자를 자동으로 설계하는 새로운 메타 학습 프레임워크 제시.
전문가가 설계한 알고리즘을 능가하는 성능을 달성, 최첨단 성능 기록.
LLM 기반 알고리즘 설계의 가능성을 제시하며, 다양한 분야의 알고리즘 개발에 적용 가능성 시사.
의미론적 지침과 코드 과다 제어를 통해 LLM의 알고리즘 설계 성능 향상.
한계점:
제안된 프레임워크의 일반화 성능 및 다른 유형의 알고리즘에 대한 적용 가능성에 대한 추가 연구 필요.
LLM의 학습 데이터 편향이 알고리즘 설계에 미치는 영향에 대한 분석 필요.
복잡한 문제에 대한 적용 가능성 및 확장성에 대한 추가 검증 필요.
👍