본 논문은 서로 다른 도메인 간의 특성 공간 이질성으로 인해 쉽지 않은 테이블 데이터의 전이 학습 문제를 다룹니다. 대규모 언어 모델(LLM)을 활용하여 테이블 데이터 전이 학습의 한계를 극복하고자, 소스 테이블 데이터를 사용하여 LLM을 미세 조정하고, LLM의 선택적 key 및 value projection 가중치를 테이블 데이터용 gated feature tokenized transformer (gFTT)에 이식하는 가벼운 전이 학습 프레임워크를 제안합니다. 제안된 LATTLE (LLM-attention transplant for transfer learning) 방법은 shared feature, LLM prompt engineering, 대규모 사전 학습 모델 없이도 타겟 테이블 데이터에 대한 전이 학습을 수행합니다. 10쌍의 source-target 데이터 세트와 12개의 baseline을 사용한 실험 결과는 LATTLE이 기존 머신러닝 모델, 최첨단 딥 테이블 아키텍처, 그리고 대규모 샘플로 학습된 전이 학습 모델보다 우수함을 입증했습니다.
