每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

MetaLLMix：一种基于 XAI 辅助 LLM-元学习的超参数优化方法

Created by
  • Haebom

作者

穆罕默德·巴尔-加维、穆罕默德·蒂乌蒂

大纲

MetaLLMiX 提出了一个零样本超参数优化框架，该框架结合了元学习、可解释的人工智能和高效的 LLM 推理。它利用 SHAP 解释来利用过去的实验结果，并推荐最佳超参数和预训练模型，而无需额外试验。LLM-as-judge 评估控制输出格式、准确性和完整性。在八个医学图像数据集上的实验表明，MetaLLMiX 的性能优于现有的 HPO 方法，同时显著降低了计算成本。

Takeaways, Limitations

•
MetaLLMiX 通过零样本超参数优化，无需额外实验即可提出最佳超参数和模型。
•
我们使用 SHAP 描述来利用过去的实验结果来增强可解释性。
•
通过 LLM-as-judge 评估来控制输出质量。
•
它在八个医学图像数据集上的表现优于现有方法。
•
我们大幅降低了计算成本。
•
它比基于 API 的方法更快，并且在保持准确性的同时实现了快速的训练时间。
•
Limitations 是结果可能会因所使用的轻量级 LLM 的性能而有所不同。
•
可能需要对泛化性能进行进一步研究。
👍
Made with Slashpage