Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction

Created by
  • Haebom

作者

Vaishnavh Nagarajan, Chen Henry Wu, Charles Ding, Aditi Raghunathan

概要

本論文は、現存する言語モデルの創造的な限界を定量的に測定するために、実際の世界のオープンな課題を抽象化した最小限のアルゴリズム課題を設計します。これらの課題は、抽象知識グラフから新しい接続を発見する(例えば、遊び心、推論、研究)、新しいパターンを構成する(例えば、数学の問題や新しいタンパク質設計)、暗黙的かつ開放的な確率的計画段階を必要とします。実験的および概念的に、次のトークン学習の近視眼的な側面を議論し、教師のない学習や拡散モデルなどのマルチトークンアプローチは、多様で独創的な結果を生み出すのに優れていると主張しています。また、一貫性を損なうことなくランダム性を導くために、入力層にノイズを注入する方法が出力層の温度サンプリングと同じくらい効果的であり、ある条件下では優れていることがわかります。結論として、この研究はオープンな創造的能力を分析するための原則的で最小限のテスト環境を提供し、次のトークン学習と温度サンプリングを超えた新しい論拠を提示します。

Takeaways、Limitations

Takeaways:
オープンで創造的な能力を評価するための新しいアルゴリズム課題のセットを提示します。
次のトークン学習の制限を示し、マルチトークンアプローチの卓越性を実証します。
入力層のノイズ注入は、ランダム性と一貫性を同時に確保する効果的な方法であることを示唆しています。
言語モデルの創造性研究の新しい視点と方向性を提示する。
Limitations:
提示されたアルゴリズムの課題は、実際の世界の複雑な創造的な課題を完全に反映していない可能性があります。
使用されるデータセットとモデルの制限により、一般化の可能性をさらに検証する必要があります。
コードの一部のみが公開され、アクセシビリティに制限がある可能性があります。
👍