每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

ML.ENERGY 基准：迈向自动推理能量测量与优化

Created by
  • Haebom

作者

Jae-Won Chung、Jeff J. Ma、吴若凡、Jiachen Liu、Oh Jun Kweon、夏宇轩、吴志宇、Mosharaf Chowdhury

大纲

本文介绍了 ML$.$ENERGY 基准测试，这是一个用于测量生成式人工智能在实际服务环境中推理能耗的基准测试工具。该基准测试旨在解决能耗这一机器学习系统构建过程中经常被忽视的问题，并基于四项核心设计原则。基准测试结果已于 2025 年初发布，测量了 40 种广泛使用的模型架构的能耗，展示了机器学习设计选择对能耗的影响，以及通过自动优化建议实现的节能效果。ML$.$ENERGY 基准测试是开源的，可以轻松应用于各种模型和应用场景。

Takeaways，Limitations

•
Takeaways：
◦
为生成式人工智能服务中的能耗问题提供测量和分析框架。
◦
分析 ML 模型架构和设计选择对能耗的影响。
◦
通过自动优化建议提供潜在的能源节约（高达 40% 或更多）。
◦
通过开源基准测试适用于各种模型和场景。
•
Limitations：
◦
基准测试结果可能仅限于特定时间点的模型和环境。
◦
能耗测量的准确性和可靠性取决于测量设备和设置。
◦
本文给出的结果是初步的基准结果，需要不断更新和改进。
👍
Made with Slashpage