Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Creative Preference Optimization

Created by
  • Haebom

作者

Mete Ismayilzada, Antonio Laverghetta Jr., Simone A. Luchini, Reet Patel, Antoine Bosselut, Lonneke van der Plas, Roger Beaty

概要

本論文は、大規模言語モデル(LLM)の創造的なコンテンツ生成能力を向上させるための新しい方法である創造的好み最適化(CrPO)を提案します。既存の方法が多様性や特定の作業に焦点を当てたのとは異なり、CrPOは、新型、多様性、驚き、品質など、多次元の創造性をモジュール式の好み最適化目標に統合します。 20万人以上の人間が生成した応答と30を超える心理的創造性評価を含む大規模な人間の好みデータセットMuCEを使用して複数のモデルをCrPOで学習および評価した結果、GPT-4oを含む強力な基準モデルよりも自動および人間評価の両方でより斬新で多様で驚くべき製品を生成しながら高い出力品質を維持することがわかりました。 NoveltyBenchのさらなる評価は、このアプローチの一般化の可能性をさらに確認します。結論として、好みフレームワーク内で創造性を直接最適化することは、出力品質を低下させることなくLLMの創造的能力を向上させるための有望な方向であることを示しています。

Takeaways、Limitations

Takeaways:
LLMの創造性を向上させるための新しい方法であるCrPOの提示。
多次元創造性を考慮したモジュラーアプローチの採用
大規模な人間の好みのデータセットMuCEの活用。
従来モデルより優れたクリエイティブコンテンツ生成性能を実証。
出力品質を低下させることなく創造性を向上させる可能性を提示します。
NoveltyBenchによるアプローチの一般化可能性の確認
Limitations:
MuCEデータセットの構成と範囲の詳細な説明が不足しています。
CrPOの計算コストとスケーラビリティの分析不足
様々な種類のLLMの一般化の可能性に関するさらなる研究が必要
「創造性」の定義と測定の主観的側面に関する議論の欠如
👍