Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

OmniPlay : analyse comparative des modèles omnimodaux sur les jeux omnimodaux

Created by
  • Haebom

Auteur

Fuqing Bie, Shiyu Huang, Xijia Tao, Zhiqin Fang, Leyi Pan, Junzhe Chen, Min Ren, Liuyu Xiang, Zhaofeng He

Contour

OmniPlay est un nouveau benchmark pour l'évaluation de l'intelligence des modèles d'agents interactifs exploitant diverses informations sensorielles. Pour surmonter les limites des benchmarks existants, il intègre diverses modalités, notamment visuelles, auditives et temporelles, et propose un environnement de jeu interactif. Composé de cinq environnements de jeu, il crée des interactions et des conflits entre les modalités afin d'évaluer les capacités de raisonnement intermodal de l'agent. L'évaluation de six modèles multimodaux de premier plan a révélé des performances surhumaines sur des tâches de mémoire haute résolution, mais des échecs significatifs sur des tâches exigeant un raisonnement robuste et une planification stratégique. Cette vulnérabilité provient d'un mécanisme de fusion fragile, qui se dégrade rapidement en cas de conflit de modalités. De plus, il a mis en évidence le paradoxe du « moins, c'est plus », où la suppression d'informations sensorielles améliore paradoxalement les performances. Par conséquent, la recherche sur une IA robuste nécessite plus qu'une simple mise à l'échelle ; elle doit fournir une solution claire pour la fusion synergique.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons OmniPlay, une nouvelle référence pour évaluer l’intelligence des modèles d’agents qui intègrent et interagissent avec diverses modalités.
◦
Nous révélons les vulnérabilités des modèles multimodaux existants (manque d’inférence robuste et de planification stratégique) et leurs causes (mécanismes de fusion fragiles).
◦
La découverte du paradoxe « moins c’est plus » met en évidence l’importance et les défis de l’intégration des modalités.
◦
Cela suggère que la recherche sur la fusion synergique au-delà de la simple évolutivité est nécessaire pour le développement d’une AGI robuste.
•
Limitations:
◦
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité du benchmark OmniPlay.
◦
Limites sur le type et le nombre de modèles utilisés dans l’évaluation.
◦
Des recherches plus approfondies sur les différents types de conflits et d’interactions entre modalités sont nécessaires.
👍
Made with Slashpage