Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

SelfReflect: Can LLMs Communicate Their Internal Answer Distribution?

Created by
  • Haebom

作者

Michael Kirchhof, Luca F uger, Adam Goli nski, Eeshan Gunesh Dhekane, Arno Blaas, Seong Joon Oh, Sinead Williamson

概要

大規模言語モデル(LLM)の不確実性を伝える一般的な方法は、回答にパーセントまたは曲線の単語を追加することです。本論文では、LLMは内部信念分布を反映して、可能性のあるすべてのオプションとその可能性を要約して出力しなければならないと主張する。 LLMがこの能力を持っているかどうかをテストするために、回答分布と要約との間の情報理論的距離であるSelfReflect指標を開発しました。実験により、現在のLLMは不確実性を明らかにすることに失敗しましたが、複数の出力をサンプリングしてコンテキストに再提供すると、不確実性の忠実な要約を生成できることが確認されました。

Takeaways、Limitations

Takeaways:
SelfReflect指標を用いてLLMの不確実性表現能力を定量的に評価する新しい方法を提示した。
現在、LLMが不確実性を効果的に明らかにすることができないことがわかりました。
いくつかの出力をサンプリングしてコンテキストに戻す簡単な方法で、LLMの不確実性表現能力を向上させることができることがわかった。
Limitations:
SelfReflect指標の性能は、LLMの内部構造と学習データによって異なります。
複数の出力をサンプリングする方法が実際の環境でどれだけ効果的であるかをさらに検討する必要があります。
提案された方法があらゆる種類の不確実性に適用可能であることをさらに検証する必要がある。
👍