본 논문은 대규모 언어 모델(LLM)을 이용한 표 형식 데이터의 특징 공학에서 발생할 수 있는 편향성을 조사한다. LLM이 특징 공학에 사용되는 연산자(예: 두 특징 더하기)의 빈도에 이상을 감지하여 편향성을 탐지하는 방법을 제안한다. 두 개의 대규모 모델과 두 개의 소규모 오픈소스 모델을 27개의 표 형식 데이터셋에 적용하여 실험한 결과, LLM은 덧셈과 같은 단순 연산자에 치우쳐 있으며, 그룹화 후 집계와 같은 복잡한 연산자를 활용하지 못하는 경향이 있음을 발견했다. 이러한 편향은 LLM이 생성한 특징을 사용할 때 예측 성능에 부정적인 영향을 미칠 수 있다.
