每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

用于软件测试自动化中上下文感知视觉变化检测的人工智能

Created by
  • Haebom

作者

米拉德·莫拉迪、柯岩、大卫·科尔威尔、罗娜·阿斯加里

软件测试自动化的上下文感知视觉变化检测

大纲

本文提出了一种基于图的新颖方法,用于软件测试自动化中上下文感知的视觉变化检测。我们使用 YOLOv5 检测 UI 控件以进行 UI/UX 验证,并构建一个图来模拟它们的上下文和空间关系。然后,该图结构用于识别不同软件版本之间 UI 元素的对应关系,并检测有意义的变化。该方法集成了一种递归相似度计算,该计算结合了结构、视觉和文本线索,从而提供了一个稳健且全面的 UI 变化模型。基于真实世界软件截图数据集的评估表明,我们的方法优于像素级和基于区域的基线方法,尤其是在需要上下文理解的场景中。

Takeaways,Limitations

我们强调了上下文理解在 UI 变化检测中的重要性,并提出了一种克服现有方法局限性的新方法。
我们利用 YOLOv5 进行 UI 元素检测和基于图的建模,提高了视觉变化检测的准确性。
通过结合结构、视觉和文本提示的递归相似性计算更有效地检测 UI 变化。
所提出的方法在真实软件截图数据集上表现出了优异的性能。
Limitations 包括数据集多样性、基线复杂性、模型泛化等,我们计划在未来做出改进。
👍