Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Learning to Diagnose Privately: DP-Powered LLMs for Radiology Report Classification

Created by
  • Haebom

作者

Payel Bhattacharjee, Fengwei Tian, Geoffrey D. Rubin, Joseph Y. Lo, Nirav Merchant, Heidi Hanson, John Gounley, Ravi Tandon

概要

本研究では、放射線学報告書テキストで多重異常検出を実行するために、差分プライバシー（DP）を適用して大規模言語モデル（LLM）を微調整するフレームワークを提案します。微調整中に補正されたノイズを注入することで、機密性の高い患者データに関連するプライバシーのリスクを軽減し、データの漏洩を防ぎながら分類性能を維持したいと考えています。 MIMIC-CXRおよびCT-RATEデータセット（2011年から2019年の収集、50,232のレポート）を使用して、BERT-medium、BERT-small、ALBERT-baseの3つのモデルアーキテクチャの差分プライバシー低ランク適応（DP-LoRA）を使用して微調整を行いました。さまざまなプライバシー予算（0.01、0.1、1.0、10.0）でモデルパフォーマンスを加重F1スコアとして評価し、プライバシー - 有用性トレードオフを定量的に分析しました。

Takeaways、Limitations

•
Takeaways：
◦
LoRAを使用した差別的プライバシー微調整は、機密性の高い医療データからLLMを微調整する主な課題を解決し、放射線報告から効果的で個人情報保護が可能な複数異常分類を可能にします。
◦
適切なプライバシー保証の下で、DP微調整モデルは、非個人情報保護LoRA基準モデルと比較して、MIMIC-CXR（0.88 vs 0.90）およびCT-RATE（0.59 vs 0.78）データセットで同様の重み付けF1スコアを達成しました。
◦
さまざまなモデルアーキテクチャとプライバシーレベルで、プライバシーと実用性のトレードオフを実験的に確認しました。
•
Limitations：
◦
研究は特定のデータセット（MIMIC-CXR、CT-RATE）とモデルアーキテクチャ（BERT-medium、BERT-small、ALBERT-base）に限定されており、一般化の可能性に関するさらなる研究が必要です。
◦
プライバシー - 有用性トレードオフは、データセットとモデルによって異なる可能性があり、最適なプライバシーレベルを決定するための追加の研究が必要です。
◦
より多様な医療データセットと臨床シナリオへの適用性を検証する必要があります。
👍
Made with Slashpage