Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Graphique de scène sémantique pour l'explication des images échographiques et le guidage de l'analyse

Created by
  • Haebom

Auteur

Xuesong Li, Dianye Huang, Yameng Zhang, Nassir Navab, Zhongliang Jiang

Contour

Cet article présente une nouvelle méthode visant à améliorer l'interprétabilité des images échographiques médicales et à aider les utilisateurs non experts à réaliser des échographies. Contrairement à la méthode de synthèse existante utilisant des modèles de langage à grande échelle (MLL), nous introduisons un graphe visuel (Graphique de scène, SG) qui décrit le contenu des images échographiques et guide l'échographie. Grâce à une méthode de traitement par lots basée sur Transformer, nous générons des SG échographiques sans détection d'objet et les affinons en fonction des requêtes des utilisateurs à l'aide des MLL afin de fournir des explications claires et compréhensibles pour le grand public. De plus, nous utilisons les SG prédits pour identifier les structures anatomiques manquantes dans les images actuelles et guider l'échographie, favorisant ainsi une exploration anatomique plus standardisée et plus complète. Nous avons validé la validité des images des régions cervicales gauche et droite, y compris l'artère carotide et la thyroïde, auprès de cinq volontaires. Les résultats montrent que cette méthode pourrait contribuer à la popularisation de l'échographie en améliorant la commodité de son interprétation et de son utilisation par les non-experts.

Takeaways, Limitations

Takeaways:
Il peut contribuer à la vulgarisation et à l'accessibilité de l'échographie en améliorant l'interprétabilité des images échographiques et en fournissant des fonctions de guidage de numérisation pour les utilisateurs non experts.
L'efficacité a été améliorée en omettant le processus de détection d'objets grâce à une méthode de traitement par lots basée sur Transformer.
LLM permet une interprétation personnalisée des ultrasons en fournissant des explications adaptées aux requêtes des utilisateurs.
Le guidage par scanner basé sur SG fournit une exploration anatomique plus standardisée et plus complète.
Limitations:
Actuellement, seules les images de la région du cou ont été validées, des recherches supplémentaires sont donc nécessaires pour déterminer la généralisabilité à d’autres régions du corps.
Il peut y avoir des limites à la capacité du LLM à gérer la variété et la complexité des requêtes des utilisateurs.
ÉTant donné que les résultats ont été obtenus à partir d’un nombre limité de volontaires, des recherches plus approfondies sont nécessaires.
Une validation supplémentaire des performances et de la sécurité dans des contextes cliniques réels est nécessaire.
👍