Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Apprendre à diagnostiquer en privé : LLMs optimisés par DP pour la classification des rapports de radiologie

Created by
  • Haebom

Auteur

Payel Bhattacharjee, Fengwei Tian, Geoffrey D. Rubin, Joseph Y. Lo, Nirav Merchant, Heidi Hanson, John Gounley, Ravi Tandon

Contour

Cette étude propose un cadre pour affiner un modèle de langage à grande échelle (LLM) utilisant la confidentialité différentielle (DP) afin de détecter de multiples anomalies dans le texte des comptes rendus de radiologie. En injectant du bruit compensé lors de l'affinement, nous visons à atténuer les risques de confidentialité associés aux données sensibles des patients et à prévenir les fuites de données tout en maintenant les performances de classification. À l'aide des jeux de données MIMIC-CXR et CT-RATE (50 232 comptes rendus collectés de 2011 à 2019), nous avons affiné trois architectures de modèles : BERT-medium, BERT-small et ALBERT-base, en utilisant l'adaptation de faible rang à la confidentialité différentielle (DP-LoRA). Nous avons évalué les performances du modèle avec différents budgets de confidentialité (0,01, 0,1, 1,0 et 10,0) à l'aide de scores F1 pondérés afin d'analyser quantitativement le compromis confidentialité-utilité.

Takeaways, Limitations

•
Takeaways:
◦
Le réglage fin de la confidentialité différentielle à l'aide de LoRA répond aux principaux défis du réglage fin du LLM sur les données médicales sensibles, permettant une classification multi-anomalies efficace et préservant la confidentialité à partir des rapports de radiologie.
◦
Dans des conditions de confidentialité raisonnables, le modèle affiné DP a obtenu des scores F1 pondérés similaires sur les ensembles de données MIMIC-CXR (0,88 contre 0,90) et CT-RATE (0,59 contre 0,78) par rapport au modèle de base LoRA non préservant la confidentialité.
◦
Nous avons vérifié expérimentalement le compromis entre confidentialité et utilité dans différentes architectures de modèles et niveaux de confidentialité.
•
Limitations:
◦
L'étude a été limitée à des ensembles de données spécifiques (MIMIC-CXR, CT-RATE) et à des architectures de modèles (BERT-medium, BERT-small, ALBERT-base), nécessitant des recherches supplémentaires sur la généralisabilité.
◦
Le compromis entre confidentialité et utilité peut varier selon les ensembles de données et les modèles, et des recherches supplémentaires sont nécessaires pour déterminer le niveau optimal de confidentialité.
◦
L’applicabilité à des ensembles de données médicales et à des scénarios cliniques plus diversifiés doit être vérifiée.
👍
Made with Slashpage