Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

MetaLLMix : An XAI Aided LLM-Meta-learning Based Approach for Hyper-parameters Optimization

Created by
  • Haebom

作者

Mohammed Tiouti, Mohamed Bal-Ghaoui

概要

MetaLLMiXは、メタラーニング、説明可能なAI、および効率的なLLM推論を組み合わせたゼロショットハイパーパラメータ最適化フレームワークです。従来のAutoMLおよびLLMベースのアプローチの試行錯誤と高コストAPIの問題を解決するために、SHAPの説明を活用して、過去の実験結果に基づいて追加の試みなしに最適なハイパーパラメータと事前訓練されたモデルを推奨します。 LLMを判断者として活用して、出力形式、精度、完成度を制御します。 8つの医療画像データセットと9つのオープンソース軽量LLMを使用した実験では、従来のHPO方法よりも競争力のあるパフォーマンスまたは優れたパフォーマンスを達成しながら、計算コストを大幅に削減しました。従来のAPIベースのアプローチよりも優れたパフォーマンスを示し、8つのタスクのうち5つで最適な結果を達成し、応答時間を99.6〜99.9％短縮し、6つのデータセットで最速のトレーニング時間（2.4〜15.7倍速い）を記録しました。精度は最高性能基準モデルと1〜5％以内の差を維持しました。

Takeaways、Limitations

•
Takeaways：
◦
ゼロショットハイパーパラメータ最適化により、AutoMLおよびLLMベースのアプローチのLimitationsである試行錯誤と高コストを克服しました。
◦
SHAPの説明を活用して説明の可能性を高めました。
◦
従来のHPO方法よりも優れたまたは競争力のあるパフォーマンスをより速い時間内に達成しました。
◦
ローカル展開により、APIベースのアプローチよりも効率的なパフォーマンスが得られました。
•
Limitations：
◦
提示された8つの医療画像データセットと9つのオープンソース軽量LLMの一般化可能性検証が必要です。
◦
さまざまな種類のデータセットとモデルの追加実験が必要です。
◦
SHAP 記述の解釈に関する追加の研究が必要な場合があります。
👍
Made with Slashpage