Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Quantifiés mais trompeurs ? Une évaluation multidimensionnelle de la véracité des masters quantifiés.

Created by
  • Haebom

Auteur

Yao Fu, Xianxuan Long, Runchao Li, Haotian Yu, Mu Sheng, Xiaotian Han, Yu Yin, Pan Li

Contour

Cet article étudie l'impact des techniques de quantification, qui permettent un déploiement efficace de modèles linguistiques à grande échelle (MLH) dans des environnements aux ressources limitées, sur la véracité des modèles. À l'aide d'un cadre d'évaluation appelé TruthfulnessEval, nous évaluons la véracité des LMH quantifiés selon trois dimensions : le raisonnement logique, le bon sens et la simulation de fausses représentations. En appliquant diverses techniques de quantification, allant de 4 bits à 2 bits, à plusieurs LMH open source, nous constatons que les modèles quantifiés conservent des représentations intrinsèquement véridiques, mais sont plus susceptibles de générer des résultats erronés sous des invites trompeuses. Nous avons testé 15 variantes d'invites « honnêtes », « neutres » et « trompeuses », démontrant que des invites « trompeuses » peuvent prendre le pas sur un comportement cohérent avec la vérité. De plus, l'inspection couche par couche et la visualisation ACP ont révélé que les modèles quantifiés génèrent des résultats erronés sous des invites « trompeuses » malgré une connaissance intrinsèque de la vérité. Ces résultats fournissent des informations pour les futures conceptions d’interventions d’alignement et de véracité tenant compte de la quantification.

Takeaways, Limitations_

Takeaways:
Présentation d'un cadre complet (TruthfulnessEval) pour évaluer la véracité des LLM quantifiés.
Fournit de nouvelles perspectives sur l'impact de la quantification sur la véracité des LLM (maintien de la véracité interne par rapport à la vulnérabilité aux invites trompeuses).
Orientations de recherche sur l'alignement sensible à la quantification et l'intervention de véracité
Limitations:
Expériences limitées avec des techniques spécifiques de LLM et de quantification open source.
Une validation supplémentaire de la généralité et de la polyvalence du cadre TruthfulnessEval est nécessaire.
Une analyse plus approfondie des différents types d’invites trompeuses et des réponses du modèle à celles-ci est nécessaire.
👍