Dans cet article, nous présentons InSight, une application mobile basée sur l'IA pour le diagnostic précoce de cinq maladies ophtalmiques majeures (dégénérescence maculaire liée à l'âge, glaucome, rétinopathie diabétique, œdème maculaire diabétique et myopie pathologique) dont l'accessibilité est limitée dans les pays à revenu faible ou intermédiaire et les milieux défavorisés. InSight diagnostique les maladies en combinant les métadonnées des patients avec des images du fond d'œil et se compose d'un pipeline en trois étapes : évaluation de la qualité de l'image en temps réel, modèle de diagnostic de la maladie et modèle d'évaluation de la gravité de la rétinopathie diabétique. Ce modèle de diagnostic intègre trois innovations clés : une technique de fusion multimodale (MetaFusion) qui combine métadonnées et images, une méthode de pré-apprentissage utilisant des fonctions de perte d'apprentissage supervisées et auto-supervisées, et un modèle multitâche qui prédit simultanément les cinq maladies. Le modèle est formé et évalué à l'aide des ensembles de données BRSET (images capturées en laboratoire) et mBRSET (images capturées par smartphone), et présente une grande précision diagnostique dans diverses conditions d'image capturées à la fois dans des smartphones et dans des environnements de laboratoire.
