본 논문은 표 이해를 위한 대규모 언어 모델(LLM)의 지시어 미세 조정에서 초매개변수 선택의 영향과 도메인 외 표 이해 능력 및 일반적인 기능에 대한 종합적인 평가가 부족함을 지적합니다. 기존의 표 LLM들을 평가한 결과, 도메인 외 표 이해 능력과 일반적인 기능이 기본 모델에 비해 상당히 저하됨을 발견하였습니다. 학습률과 같은 초매개변수가 표 특정 기능과 일반적인 기능 모두에 상당한 영향을 미침을 보였으며, 기존 연구와 달리 작은 학습률과 적은 훈련 인스턴스가 표 이해력을 향상시키면서 일반적인 기능을 유지할 수 있음을 보여줍니다. 이러한 결과를 바탕으로 LLaMA 3.1 8B Instruct를 기반으로 미세 조정된 TAMA라는 표 LLM을 제시하며, 이는 표 작업에서 GPT-3.5 및 GPT-4와 동등하거나 능가하는 성능을 달성하면서 강력한 도메인 외 일반화 및 일반적인 기능을 유지합니다. 이는 신중한 초매개변수 선택을 통해 데이터 주석 비용을 줄이고 모델 개발 효율을 높일 수 있는 가능성을 보여줍니다. 본 논문에서는 프로젝트와 모델을 오픈 소스로 공개합니다.
