Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization

Created by
  • Haebom

作者

Chih-Yu Chang, Milad Azvar, Chinedum Okwudire, Raed Al Kontar

LLINBO: LLM-in-the-Loop BO

概要

ベイシアン最適化（BO）は、高コストのブラックボックス関数の最適化に広く使用されている順次意思決定ツールです。最近、大規模言語モデル（LLM）は少量のデータ環境で驚くべき適応性を示しており、質の高いクエリポイントを提案するためにコンテキスト知識を活用してブラックボックスを最適化するための有望なツールになりました。ただし、LLMを最適化エージェントとしてのみ依存することは、明示的な代理モデリングと修正された不確実性の欠如、および本質的に不透明な内部メカニズムのためにリスクをもたらします。この構造的不透明性は、ナビゲーション - 活用トレードオフを特徴付けたり制御するのが難しく、理論的処理性と信頼性を低下させます。これを解決するために、LLMと統計代理店の専門家（Gaussian Processes（GP）など）を組み合わせたBOのためのハイブリッドフレームワークであるLLINBO：LLM-in-the-Loop BOを提案します。重要な哲学は、早期探索のためにLLMのコンテキスト推論の強みを活用し、同時に効率的な活用のための原則的な統計モデルに頼ることです。具体的には、これらのコラボレーションを可能にし、理論的保証を確立する3つのメカニズムを紹介します。 3D印刷の文脈では、実際の概念証明を介して論文を終了します。結果の再現コードはhttps://github.com/UMDataScienceLab/LLM-in-the-Loop-BO에서で確認できます。

Takeaways、Limitations

•
LLMのコンテキスト推論能力と統計モデルの効率的な活用能力を組み合わせた新しいベイシアン最適化フレームワークの提示
•
早期探索のためにLLMを活用し、効率的な活用のために統計モデルに依存
•
3D印刷分野における実際の問題の概念証明の提示
•
LLMの不確実性不足と内部機構の不透明性問題を解決
•
理論的保証を提供するメカニズムの提示
•
具体的なLimitationsは論文に記載されていません。
👍
Made with Slashpage