"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models
Created by
Haebom
저자
Ricardo Knauer, Mario Koddenbrock, Raphael Wallsberger, Nicholas M. Brisson, Georg N. Duda, Deborah Falla, David W. Evans, Erik Rodner
개요
본 논문은 데이터가 제한적인 상황에서 사전 지식을 활용한 예측 모델링을 위해 대규모 언어 모델(LLM)을 활용하는 방법을 제시합니다. LLM이 압축된 세계 지식을 사용하여 어떠한 훈련 데이터 없이도 본질적으로 해석 가능한 기계 학습 모델, 즉 의사 결정 트리를 생성하는 방법을 보여줍니다. 실험 결과, 이러한 제로샷 의사 결정 트리는 일부 소규모 표 형식 데이터셋에서 데이터 기반 트리를 능가하며, 이 트리에서 파생된 임베딩은 평균적으로 데이터 기반 트리 기반 임베딩보다 성능이 더 우수한 것으로 나타났습니다. 따라서 제시된 의사 결정 트리 유도 및 임베딩 접근 방식은 데이터가 부족한 환경에서 데이터 기반 기계 학습 방법에 대한 새로운 지식 기반 기준선 역할을 할 수 있으며, 표 형식 기계 학습 작업에 LLM 내의 풍부한 세계 지식을 활용하는 방법을 제공합니다. 코드와 결과는 https://github.com/ml-lab-htw/llm-trees 에서 확인할 수 있습니다.
