Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Enlèvement hors contexte : les LLM font des inférences sur les données procédurales en exploitant les faits déclaratifs des données de formation antérieures

Created by
  • Haebom

Auteur

Sohaib Imran, Rob Lamb, Peter M. Atkinson

Contour

Cet article examine si les modèles linguistiques à grande échelle (MLH) peuvent inférer des informations contenues dans leurs données d'entraînement. Plus précisément, nous nous intéressons à l'abduction hors contexte, c'est-à-dire la capacité à déduire l'explication la plus plausible d'une observation à partir des informations pertinentes présentes dans les données d'entraînement. Les chercheurs ont entraîné les LMH avec les noms et les descriptions comportementales de chatbots fictifs, excluant les exemples de conversations avec ces derniers. Ils ont constaté que le GPT-4 d'OpenAI pouvait déduire avec précision le nom du chatbot après avoir observé ses réponses caractéristiques. De plus, pré-entraîné avec les descriptions comportementales du chatbot, le GPT-4 a démontré qu'il pouvait mieux capturer les comportements caractéristiques du chatbot grâce à des entraînements répétés. Ces résultats fournissent des informations précieuses sur la connaissance contextuelle et la sécurité de l'IA des LMH.

Takeaways, Limitations_

Takeaways:
Nous démontrons que LLM peut utiliser les informations contenues dans les données de formation pour faire des inférences.
Suggérant la possibilité d'améliorer les capacités de connaissance de la situation du LLM.
Fourni Takeaways, ce qui est important pour la recherche sur la sécurité de l'IA.
Soulignez l’importance des apprentissages préalables.
Limitations:
Les sujets expérimentaux sont limités à un LLM spécifique (GPT-4) et à des données de chatbot limitées.
Des recherches supplémentaires sont nécessaires sur la généralisabilité des compétences d’inférence hors contexte.
Des recherches supplémentaires sont nécessaires sur différents types de raisonnement et des situations plus complexes.
👍