Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les modèles de la Vision Foundation sont-ils prêts pour l’enregistrement d’images médicales prêtes à l’emploi ?

Created by
  • Haebom

Auteur

Hanxue Gu, Yaqian Chen, Nicholas Konz, Qihang Li et Maciej A. Mazurowski

Contour

Cet article évalue les performances du recalage d'images IRM mammaires à l'aide d'un modèle de base pré-entraîné sur un jeu de données d'images à grande échelle. Contrairement aux études précédentes ciblant des corps rigides ou des structures relativement simples (par exemple, le cerveau, les organes abdominaux), nous nous sommes concentrés sur le recalage d'images de tissu mammaire hautement déformable. À l'aide de cinq encodeurs pré-entraînés (Dino-v2, SAM, MedSAM, SSLSAM et MedCLIP), nous avons effectué un recalage d'images mammaires dans différentes conditions, notamment l'année, la séquence, la modalité et la présence de lésions, et comparé leurs performances. Nos résultats montrent que les algorithmes basés sur un modèle de base, comme SAM, surpassent les algorithmes existants en termes de performances globales d'alignement mammaire, mais peinent à aligner les structures fines du tissu fibreux. De plus, nous avons constaté qu'un pré-entraînement supplémentaire ou un réglage fin avec des images médicales ou mammaires spécifiques n'améliorait pas les performances et, dans certains cas, les réduisait même. Le code est accessible au public.

Takeaways, Limitations

Takeaways:
Nous démontrons que les algorithmes d'enregistrement d'images basés sur des modèles (en particulier SAM) surpassent les algorithmes existants en termes de performances d'alignement globales pour l'enregistrement d'images IRM mammaires.
Les points forts du modèle de base deviennent plus évidents lorsque les changements de domaine sont significatifs.
Le code ouvert facilite la recherche et le développement ultérieurs.
Limitations:
Le modèle de base a du mal à aligner avec précision les microstructures telles que les structures de type fibre.
Un pré-entraînement supplémentaire ou un réglage fin à l’aide d’images médicales ou spécifiques au sein peuvent ne pas améliorer les performances ou peuvent même les dégrader.
Des recherches supplémentaires sont nécessaires sur l’impact de la formation spécifique au domaine sur l’enregistrement des images.
Des recherches supplémentaires sont nécessaires sur les stratégies visant à améliorer à la fois l’alignement global et la précision microstructurale.
👍