본 논문은 조립 및 요리와 같은 물리적 작업을 지원하는 데 점점 더 많이 사용되는 증강현실(AR) 지원 시스템의 한계를 다룹니다. 기존 시스템은 사용자 입력에 의해 트리거되는 반응적인 응답에 의존하여 풍부한 상황 및 사용자 특정 정보를 간과하는 문제점을 가지고 있습니다. 이를 해결하기 위해 본 논문에서는 사용자의 정신 상태와 환경적 맥락을 모두 모델링하여 사용자를 사전적으로 안내하는 새로운 AR 시스템인 Satori를 제시합니다. Satori는 Belief-Desire-Intention (BDI) 프레임워크를 최첨단 다중 모달 대규모 언어 모델(LLM)과 통합하여 상황에 맞는 안내를 제공합니다. 12명의 전문가를 대상으로 한 두 번의 형성 연구를 기반으로 설계되었으며, 16명을 대상으로 한 피험자 내 연구를 통해 Satori가 수동 구성이나 휴리스틱 없이 디자이너가 만든 Wizard-of-Oz (WoZ) 시스템의 성능과 일치함을 발견하여 일반화 가능성과 재사용성을 향상시키고 AR 지원의 잠재력을 확장합니다.
시사점, 한계점
•
시사점:
◦
사용자의 정신 상태와 환경적 맥락을 모두 고려하여 사전적이고 상황에 맞는 AR 안내를 제공하는 새로운 시스템 Satori 제시.
◦
BDI 프레임워크와 LLM을 통합하여 시스템의 일반화 가능성 및 재사용성 향상.
◦
WoZ 시스템과 유사한 성능을 보이며 수동 구성이나 휴리스틱이 필요 없음을 실험적으로 검증.
