本研究では、医療分野のプライバシー問題に焦点を当て、微調整された巨大言語モデル（LLM）における記憶メカニズムと要因を調査します。薬物監視イベントのPHEEデータセットを使用して、微調整プロセスのさまざまな側面がモデルのトレーニングデータ暗記傾向に与える影響を確認します。会員推論攻撃とプロンプト接頭辞を使用した作成作業の2つの主な方法を使用して、暗記されたデータを検出し、変圧器構造における異なる重み行列の適用、当惑度と暗記の関係、低階級適応（LoRA）微調整における階級増加の効果を分析します。主な結果は次のとおりです。（1）値と出力行列は、クエリとキー行列よりも暗記に大きく貢献します。 （2）微調整されたモデルの当惑度が低いほど、暗記が増加します。 (3) LoRA のランクが高いほど暗記は増加するが、高いランクでは収益の減少が見られる。これらの結果は、微調整されたLLMにおけるモデルパフォーマンスとプライバシーリスクとの間のトレードオフに関する洞察を提供します。本研究の結果は、データプライバシー問題を管理しながら、巨大言語モデルを適用するためのより効果的で責任ある戦略を開発するためにTakeawaysを提供します。
