Cet article présente un cadre de bout en bout (NLKI) pour améliorer les performances des modèles de langage visuel à petite échelle (sVLM) dans la réponse visuelle aux questions de sens commun (VQA). NLKI fonctionne en récupérant des faits en langage naturel, en générant des explications en langage naturel à l'aide d'un LLM et en transmettant ces signaux au sVLM. En exploitant ColBERTv2 et des invites riches en entités pour la récupération des faits, les explications générées réduisent les hallucinations et améliorent la précision jusqu'à 7 %. De plus, grâce à un réglage plus fin à l'aide d'une fonction de perte robuste au bruit, nous obtenons une amélioration de la précision de 2,5 % sur l'ensemble de données CRIC et de 5,5 % sur l'ensemble de données AOKVQA, portant les performances de sVLM comme FLAVA au niveau de VLM de taille moyenne comme Qwen-2 VL-2B et SmolVLM-2.5B. Cette étude démontre que les connaissances de bon sens basées sur le LLM sont plus efficaces que la récupération de bases de connaissances de bon sens, que l'apprentissage sensible au bruit améliore la stabilité des petits modèles dans des situations d'augmentation de connaissances externes et que l'inférence de bon sens efficace en termes de paramètres est possible même dans des modèles avec 250 millions de paramètres.
