Cet article souligne l'absence d'évaluation exhaustive de l'influence de la sélection d'hyperparamètres sur le réglage fin des modèles de langage à grande échelle (MLL) pour la compréhension tabulaire et leur capacité à généraliser et à généraliser hors domaine. Nous évaluons les LLM tabulaires existants et constatons que leur capacité à généraliser et à comprendre hors domaine est nettement inférieure à celle des modèles de référence. Nous montrons que des hyperparamètres tels que le taux d'apprentissage ont un impact significatif sur les caractéristiques spécifiques et générales des tableaux. Contrairement aux études précédentes, nous démontrons que de faibles taux d'apprentissage et un nombre limité d'instances d'apprentissage peuvent améliorer la compréhension tabulaire tout en préservant les caractéristiques générales. Sur la base de ces résultats, nous présentons un LLM tabulaire appelé TAMA, optimisé sur LLaMA 3.1 8B Instruct, qui atteint des performances comparables ou supérieures à celles de GPT-3.5 et GPT-4 sur les tâches tabulaires tout en conservant une forte généralisation hors domaine et des caractéristiques générales. Cela démontre le potentiel de réduction des coûts d'annotation des données et d'amélioration de l'efficacité du développement de modèles grâce à une sélection rigoureuse des hyperparamètres. Nous rendons notre projet et notre modèle open source dans cet article.
