혼합 현실(MR)에서 실제 물체와 상호 작용하는 것은 물체가 밀집되어 있거나, 멀리 있거나, 부분적으로 가려져 있을 때 어려움을 겪는 경우가 많습니다. 이러한 어려움은 입력이 물리적 제약에 밀접하게 결합되어 있기 때문에 물리적 물체에 직접 상호 작용을 수행하기 때문입니다. 본 논문에서는 실제 물체의 추상적 표현인 프록시를 도입하여 이러한 제약으로부터 상호 작용을 분리하는 것을 핵심 통찰력으로 제시합니다. Reality Proxy 시스템은 선택 중에 물리적 객체에서 프록시로 상호 작용 대상을 매끄럽게 전환합니다. Reality Proxy는 기본 선택을 용이하게 하는 것 외에도 AI를 사용하여 프록시에 해당 물체의 의미적 속성과 계층적 공간 관계를 풍부하게 하여 새로운 제스처나 메뉴 시스템 없이 스키밍, 속성 기반 필터링, 중첩 그룹 탐색, 복잡한 다중 객체 선택과 같은 새로운 상호 작용을 가능하게 합니다. 사무실 정보 검색, 대규모 공간 탐색, 다중 드론 제어를 포함한 다양한 시나리오에서 Reality Proxy의 다양성을 보여줍니다. 전문가 평가는 시스템의 유용성과 사용성을 제시하며, 프록시 기반 추상화가 미래 MR 시스템을 위한 강력하고 일반화 가능한 상호 작용 패러다임을 제공한다는 것을 시사합니다.
