每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

RealitySummary：使用大型语言模型探索按需混合现实文本摘要和问答

Created by
  • Haebom

作者

Aditya Gunturu、Shivesh Jadon、Nandi 张、Morteza Faraji、Jarin Thundathil、Wesley Willett、Ryo Suzuki

大纲

本文介绍了 RealitySummary，这是一个集成了混合现实 (MR) 界面和大规模语言模型 (LLM) 的阅读辅助系统，旨在支持日常阅读。RealitySummary 将始终在线的摄像头访问、基于 OCR 的文本提取以及增强的空间和视觉响应与 LLM 无缝集成。这项研究基于用户反馈和反思性分析，涵盖了三次迭代，每次迭代都通过用户研究（N=12）、现场部署（N=11）和日记研究（N=5）进行评估。实验结果凸显了 AI 与 MR 结合的独特优势，包括始终在线的隐式支持、长期时间记录、最小化上下文切换和空间功能，展现了未来 LLM-MR 界面超越传统基于屏幕的交互方式的潜力。

Takeaways, Limitations

•
Takeaways：
◦
通过集成 LLM 和 MR 界面展示阅读支持系统的实用性。
◦
引入新的交互方式，包括始终在线的隐式支持、长期时间记录、最小上下文切换和空间功能。
◦
展示LLM-MR接口的未来发展潜力。
•
Limitations：
◦
研究参与者的数量相对较少（每个研究阶段的参与者数量有限）。
◦
研究结果局限于特定情况（日常阅读）。
◦
需要进一步研究来确定不同类型的 LLM 和 MR 界面的普遍性。
👍
Made with Slashpage