본 논문은 대규모 언어 모델(LLM)의 추론 능력을 활용한 머신러닝 특징 생성 연구를 다룬다. Chain of Thought, Tree of Thoughts, Retrieval-Augmented Generation, Thought Space Exploration 등 네 가지 주요 추론 기법을 분석하여, 수동으로 검색 공간을 지정하지 않고 효과적인 특징 생성 규칙을 식별하는 방법을 제시한다. 금융, 의료, 텍스트 분석 등 다양한 분야에서 LLM 기반 특징 생성 방법을 분류하고, 특히 OCTree의 의사결정 트리 추론 방식을 통해 반복적인 개선을 위한 언어 기반 피드백을 제공하는 평가 방법론을 분석한다. 현재의 과제로는 환각, 계산 효율성, 도메인 적응 문제를 지적하며, 향후 연구 방향으로는 다중 모달 특징 생성, 자기 개선 시스템, 신경 기호 접근 방식을 제시한다.
