본 논문은 표 형태 데이터 학습에서 예측 모델 성능 향상을 위한 자동화된 특징 엔지니어링 프레임워크인 LLM-FE를 제안합니다. 기존의 자동화된 특징 엔지니어링 방법들은 사전 정의된 변환과 수동으로 설계된 고정된 탐색 공간에 의존하며, 도메인 지식을 고려하지 못하는 한계가 있습니다. LLM을 활용한 최근 연구는 도메인 지식을 특징 엔지니어링 프로세스에 통합하였지만, 직접적인 프롬프트 사용이나 검증 점수에만 의존하여 이전 특징 발견 실험의 통찰력을 활용하지 못하고, 특징 생성과 데이터 기반 성능 간의 의미 있는 추론을 확립하지 못했습니다. LLM-FE는 진화적 탐색과 LLM의 도메인 지식 및 추론 기능을 결합하여 표 형태 데이터 학습 과제에 효과적인 특징을 자동으로 발견합니다. LLM-FE는 특징 엔지니어링을 프로그램 탐색 문제로 공식화하여 LLM이 반복적으로 새로운 특징 변환 프로그램을 제안하고, 데이터 기반 피드백이 탐색 프로세스를 안내합니다. 다양한 분류 및 회귀 벤치마크에서 최첨단 기준 모델보다 성능이 뛰어남을 실험 결과를 통해 보여줍니다.
