Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

From Metrics to Meaning: Time to Rethink Evaluation in Human-AI Collaborative Design

Created by
  • Haebom

作者

Sean P. Walton, Ben J. Evans, Alma AM Rahat, James Stovold, Jakub Vincalek

概要

この論文は、人間とAIのコラボレーションシステムを評価する方法の在庫を促し、より洗練された多次元的なアプローチを提示します。 808人の参加者を対象とした大規模な現場研究と12人の参加者を対象とした統制された実験室研究を通じて、人間-AI共同創作システムである「遺伝子自動車デザイナー」を分析しました。 MAP-Elitesベースのインテリジェントシステムによって作成されたデザイン提案を提供された参加者は、ランダムなデザイン提案を提供された参加者よりも認知的および行動的参加率が高く、より質の高いデザイン結果を生み出しました。既存の行動および設計品質指標にのみ集中する評価方法は、ユーザー参加の全体的な側面を捉えることができないことを明らかにし、人間-AI設計プロセスをデザイナーの変化する感情的、行動的、認知的状態と見なし、人間-AIシステムを全体的に評価し、インテリジェントシステムを単純なバックエンドツールではなくユーザー体験の重要な要素と考えるべきだと主張する。

Takeaways、Limitations

•
Takeaways：
◦
人間-AIコラボレーションシステムの評価に対する既存の単純な指標中心アプローチの限界を指摘し、感情的、行動的、認知的側面の両方を考慮する多次元評価スキームの必要性を提示します。
◦
MAP-Elitesベースのインテリジェントシステムは、ユーザーのエンゲージメントとデザイン品質の向上に効果的であることを実証的に示しています。
◦
人間-AIシステムでは、インテリジェントシステムをユーザーエクスペリエンスの重要な要素として考慮する必要があることを強調します。
•
Limitations：
◦
研究対象システムは特定のタイプの設計作業（2次元自動車設計）に限定されているため、他の種類の設計作業への一般化の可能性に関するさらなる研究が必要です。
◦
ラボ研究の参加者数は限られているため（N = 12）、結果の一般化の可能性を検討する必要があります。
◦
感情的、行動的、認知的側面を包括的に評価するための具体的な指標と測定方法に関するさらなる研究が必要です。
👍
Made with Slashpage