Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Enhancing Diversity in Large Language Models via Determinantal Point Processes

Created by
  • Haebom

作者

Yilei Chen, Souradip Chakraborty, Lorenz Wolf, Ioannis Ch. Paschalidis, Aldo Pacchiano

概要

本論文は大規模言語モデル(LLM)の事後訓練方法であり,地図微調整と強化学習がモデルの性能向上に寄与するが,出力多様性を減少させて狭く典型的な応答を誘発するという問題点を指摘します。従来の多様性を改善する方法は、推論の時点で機能するか、語彙的な違いにのみ焦点を当てる限界があります。そこで、本論文では決定点過程（DPP）に基づく新しい訓練方法であるDQOを提案します。 DQOは、各プロンプトに対する複数の応答をサンプリングして埋め込み、これらの応答の埋め込みが占める体積を測定することによって多様性を測定します。さまざまなタスク（指示に従う、要約、ストーリーを生成、推論する）の実験は、DQOがモデルの品質を落とさずに意味の多様性を大幅に向上させることを示しています。

Takeaways、Limitations

•
Takeaways：
◦
決定点プロセス（DPP）を活用してLLMの品質と意味的多様性を同時に最適化する新しいトレーニング方法（DQO）を提示します。
◦
既存の方法の限界である推論時点の動作または語彙的違いに対する集中を克服する。
◦
様々な作業における意味的多様性を改善しながらモデル品質を維持する効果を実証
•
Limitations：
◦
DPPベースの多様性測定方式の計算複雑度が高い可能性がある。
◦
特定のタイプのカーネルの使用に依存する可能性があります。
◦
提案された方法の一般化性能に関するさらなる研究が必要である。
👍
Made with Slashpage