Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Response and Prompt Evaluation to Prevent Parasocial Relationships with Chatbots

Created by
  • Haebom

作者

Emma Rath, Stuart Armstrong, Rebecca Gorman

概要

本論文は、AIエージェントとのパラソーシャル関係形成が人間の幸福に深刻で、時には悲劇的な影響を及ぼす可能性があるという問題を提起する。パラソーシャルキューはプライベートな会話で徐々に現れ、あらゆる形態の感情的参加が有害ではないので、このダイナミクスを防ぐことは困難です。これを解決するために、最先端の言語モデルをリサイクルしてリアルタイムでパラソーシャルキューを評価する簡単な応答評価フレームワークを提示します。 30の会話(パラソーシャル、お世辞、中立会話)からなる小規模合成データセットを使用して、このアプローチの実現可能性をテストしました。 5段階のテストによる反復的な評価の結果、寛大な一致規則の下ですべてのパラソーシャル会話を識別しながら誤検知を回避することができ、通常は最初の数回の交換で検出が行われました。これらの結果は、評価エージェントがパラソーシャル関係予防のための実行可能な解決策を提供できることを示す予備的な証拠を提供する。

Takeaways、Limitations

Takeaways:最先端の言語モデルをリサイクルし、リアルタイムでパラソーシャル関係を検出する簡単なフレームワークの実現可能性を示します。最初の会話段階でパラソーシャルキューを効果的に検出できることを示唆。 AIエージェントとの不健全な関係形成の予防に対する新しいアプローチの提示
Limitations:小規模合成データセットを使用して検証されたこと。実際の使用環境における一般化の可能性に関するさらなる研究の必要性さまざまなタイプのパラソシャル関係とキューの検出性能検証が必要「寛大な一致規則」の具体的な基準と限界明確に提示する必要があります。倫理的含意に関する深い議論の欠如
👍