每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

面向模式选择行为的本地可部署微调因果大型语言模型

Created by
  • Haebom

作者

塔里克·阿尔萨利赫、比拉勒·法鲁克

大纲

本研究探讨了开放访问、本地可部署的因果大规模语言模型 (LLM) 在预测出行方式选择方面的应用,并介绍了 LiTransMC,这是首个专为此任务开发的微调因果 LLM。我们系统地在三个陈述和观察偏好数据集上对 11 个开放访问 LLM(参数范围从 1 到 12B)进行了基准测试,测试了 396 种配置,并生成了超过 79,000 个方式选择决策。除了预测准确性之外,我们还使用 BERTopic 评估了模型生成的推论,并运用了一种新颖的解释强度指数,该指数首次以行为理论为指导,对 LLM 如何解释决策因素进行了结构化分析。 LiTransMC 参数高效,并采用损失掩蔽策略进行微调,实现了 0.6845 的加权 F1 分数和 0.000245 的 Jensen-Shannon 散度,其性能优于未经调优的本地模型和更大型的专有系统(包括使用高级角色推理和基于嵌入的加载的 GPT-4o),并且在同一数据集上优于经典的均值选择方法,例如离散选择模型和机器学习分类器。我们演示了如何创建一个专用的、可本地部署的 LLM,它将高实例级准确率与近乎完美的分布校正相结合,并集成了预测性和可解释性。

Takeaways, Limitations

提出开发专门的、可在本地部署的 LLM 来预测出行方式选择的可能性。
LiTransMC 通过提高准确性和可解释性超越了现有模型。
利用自然语言推理来促进基于代理的模拟、策略测试和行为洞察生成。
强调本地部署对于隐私、节省成本和提高可访问性的重要性。
该研究重点关注参数为 1-12B 的 LLM,并未探讨更大 LLM 的性能。
数据集和配置的范围可能仅限于特定的应用程序。
需要进一步研究 BERTopic 的普遍性和解释强度指数。
👍