본 논문은 대규모 언어 모델(LLM)의 추론 능력을 활용한 머신러닝 특징 생성의 융합에 대해 탐구한다. Chain of Thought, Tree of Thoughts, Retrieval-Augmented Generation, Thought Space Exploration 등 네 가지 주요 추론 기법을 분석하여, 수동으로 탐색 공간을 지정하지 않고 효과적인 특징 생성 규칙을 식별하는 방법을 제시한다. 금융, 의료, 텍스트 분석 등 다양한 분야에서 LLM 기반 특징 생성 방법을 분류하고, 특히 OCTree의 의사결정 트리 추론 방식을 통해 반복적인 개선을 위한 언어 기반 피드백을 제공하는 특징 평가 방법론을 분석한다. 현재의 과제로는 환각, 계산 효율성, 도메인 적응 문제를 제기하며, 향후 다중 모달 특징 생성, 자기 개선 시스템, 신경 기호 접근 방식 등의 발전 방향을 제시한다. 궁극적으로 언어 모델 추론을 통해 특징 엔지니어링을 자동화하고 향상시키는 신흥 분야에 대한 상세한 개요를 제공한다.
