Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

MAGneT: Coordinated Multi-Agent Generation of Synthetic Multi-Turn Mental Health Counseling Sessions

Created by
  • Haebom

作者

Aishik Mandal, Tanmoy Chakraborty, Iryna Gurevych

概要

この論文は、心理カウンセリングの分野でスケーラブルなサービスを提供するための大規模言語モデル(LLM)の微調整の必要性を強調し、高品質のプライバシー準拠データ不足の問題を解決するための新しいマルチエージェントフレームワークであるMAGneTを提示します。 MAGneTは、心理学技術をモデル化する専門化されたLLMエージェントが各サブタスクを処理することによってカウンセラーの応答生成を分解し、従来の単一エージェントアプローチよりも実際のカウンセリングの構造とニュアンスをよりよく捉えます。さらに、さまざまな自動評価および専門家評価指標を統合した統合評価フレームワークを提案し、既存の評価プロトコルの不一致の問題を解決し、専門家評価項目を4つから9つに拡張して、データ品質評価の精度と堅牢性を高めました。実験の結果、MAGneTは、生成されたカウンセリングセッションの品質、多様性、および治療的整合性の点で従来の方法より優れた性能を示した。専門家は、あらゆる面で平均77.2%の割合でMAGneT生成セッションを好みました。 MAGneT生成セッションでオープンソースモデルを微調整した結果、従来の方法で生成されたセッションを使用した場合より一般相談技術は6.3%、CBT特化技術は7.3%向上しました。コードとデータを公開します。

Takeaways、Limitations

Takeaways:
高品質心理カウンセリングデータ生成のための効果的なマルチエージェントフレームワーク(MAGneT)の提示
従来のシングルエージェント方式よりも実際のカウンセリングの構造とニュアンスをよりよく反映するモデルの開発
統合された評価フレームワークによるデータ品質評価の精度と客観性の向上
オープンソースLLM微調整のための高品質合成データ提供により心理相談分野の発展に貢献
コードとデータ開示による研究の再現性と拡張性の確保
Limitations:
合成データの限界:どんなに洗練されたモデルでも、実際のカウンセリングデータの複雑さと多様性を完全に反映することは困難です。
専門家評価の主観性:専門家評価への依存度が高く、評価の主観性が結果に影響を与える可能性があります。
長期的な相互作用と複雑な心理的要素の反映の難しさ:MAGneTは短期間の相互作用に焦点を当てているため、長期的な相談プロセスや複雑な心理的要素を完全に反映することには限界がある可能性があります。
倫理的考慮事項:合成データを使用したモデルの学習と活用に関する倫理的問題の考慮が必要です。
👍