每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

使用多模态大型语言模型检测和测量冰雹

Created by
  • Haebom

作者

莫里茨·阿尔克、戴维·C·谢德尔、安德烈亚斯·斯托克尔

大纲

本研究探索如何使用预训练的多模态大规模语言模型从社交媒体和新闻图片中检测和测量冰雹。我们使用了一个数据集，该数据集包含474张众包图像，这些图像记录了2022年1月至2024年9月期间奥地利发生的冰雹事件，冰雹的最大直径从2厘米到11厘米不等。我们使用单步和两步提示策略估计并比较了四个模型。后者利用了图像中参考物体（例如人手）的额外尺寸提示。预训练模型展示了从图像中测量冰雹直径的潜力，最佳模型的平均绝对误差为1.12厘米。与单步提示相比，两步提示提高了大多数模型的可靠性。本研究表明，这些即用型模型可以补充现有的冰雹传感器，无需微调即可从社交媒体图片中提取有意义且空间密集的信息，从而能够快速详细地评估恶劣天气事件。从社交媒体和其他来源自动实时收集图像仍然是一个挑战，但它将使我们能够直接将我们的方法应用于未来的冰雹事件。

Takeaways, Limitations

•
Takeaways：
◦
预先训练的模型有可能根据图像测量冰雹直径。
◦
两步提示提高了模型的可靠性。
◦
现成的模型可以补充传统的冰雹传感器。
◦
能够快速、详细地评估恶劣天气事件。
•
Limitations：
◦
自动实时图像采集仍然是一个挑战。
👍
Made with Slashpage