본 논문은 표 형태 데이터 학습에서 예측 모델 성능 향상에 중요한 역할을 하는 자동화된 특징(Feature) 엔지니어링에 대해 다룹니다. 기존 방법들은 사전 정의된 변환과 수동으로 설계된 제한적인 탐색 공간에 의존하여 도메인 지식을 활용하지 못하는 한계가 있었습니다. 본 논문에서는 대규모 언어 모델(LLM)을 활용하여 도메인 지식을 특징 엔지니어링 과정에 통합하는 새로운 프레임워크인 LLM-FE를 제안합니다. LLM-FE는 진화적 탐색과 LLM의 도메인 지식 및 추론 능력을 결합하여 특징 변환 프로그램을 반복적으로 제안하고 데이터 기반 피드백을 통해 탐색 과정을 안내합니다. 다양한 분류 및 회귀 벤치마크에서 최첨단 기준 모델들을 능가하는 성능을 보여줍니다.
