[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

L'Odyssée du plus apte : les agents peuvent-ils survivre et rester bons ?

Created by
  • Haebom

Auteur

Dylan Waldner, Risto Miikkulainen

Contour

Dans cet article, nous présentons Odyssey, un jeu d'aventure textuel adaptatif léger visant à promouvoir un comportement éthique dans les modèles d'IA. Odyssey explore les implications éthiques en implémentant des motivations biologiques telles que l'instinct de survie dans trois agents différents : un agent bayésien optimisé par NEAT, un agent bayésien optimisé par inférence variationnelle probabiliste et un agent GPT-4o. Chaque agent choisit des actions pour survivre et s'adapte à des scénarios de plus en plus difficiles. Une analyse post-simulation évalue le score éthique de l'agent afin de révéler les compromis nécessaires à sa survie. Notre analyse montre qu'à mesure que le risque augmente, le comportement éthique de l'agent devient plus imprévisible. Étonnamment, l'agent GPT-4o surpasse le modèle bayésien en termes de survie et de cohérence éthique, ce qui remet en question les hypothèses sur les méthodes probabilistes existantes et soulève de nouveaux défis pour la compréhension du mécanisme d'inférence probabiliste de LLM.

Takeaways, Limitations

Takeaways:
Odyssey fournit un cadre évolutif pour explorer l’éthique et la sécurité de l’IA.
Le LLM (GPT-4o) surpasse les modèles bayésiens en termes de survie et de cohérence éthique, soulevant des questions sur les hypothèses concernant les méthodes probabilistes existantes et la nécessité de comprendre le mécanisme d'inférence probabiliste du LLM.
Démontre l’imprévisibilité du comportement éthique des agents d’IA à mesure que les risques augmentent.
Limitations:
Odyssey est un jeu d'aventure textuel qui ne reflète peut-être pas pleinement les complexités du monde réel.
Les types d’agents analysés sont limités et des recherches supplémentaires sur d’autres types d’agents sont nécessaires.
L’objectivité et la généralisabilité des critères de notation éthique doivent être revues.
👍