Cet article explore théoriquement les avantages des modèles de langage basés sur des outils (par exemple, la récupération externe, la mémoire et les API). Plus précisément, nous démontrons la supériorité de l'apprentissage basé sur des outils (récupération externe) sur l'apprentissage pondéré (mémorisation) en termes de représentation d'informations factuelles. Bien que le nombre de paramètres du modèle limite fondamentalement le nombre de faits mémorisables, nous démontrons que l'apprentissage basé sur des outils permet une représentation infinie des faits grâce à des circuits simples et efficaces. Des expériences contrôlées démontrent que les modèles basés sur des outils surpassent les modèles de mémorisation, démontrant ainsi que l'enseignement de l'apprentissage basé sur des outils et des règles générales est plus efficace que la mémorisation de faits dans un modèle de langage pré-entraîné à grande échelle. En conclusion, nous démontrons, par des preuves théoriques et expérimentales, que les flux de travail basés sur des outils sont non seulement pratiques, mais aussi théoriquement supérieurs en termes d'évolutivité.
