Tương tác với các đối tượng thực trong thực tế hỗn hợp (MR) thường gặp khó khăn khi các đối tượng dày đặc, ở xa hoặc bị che khuất một phần. Khó khăn này phát sinh do các đầu vào được liên kết chặt chẽ với các ràng buộc vật lý, và do đó tương tác trực tiếp với các đối tượng vật lý. Trong bài báo này, chúng tôi trình bày một giải pháp quan trọng để tách rời các tương tác khỏi những ràng buộc này bằng cách giới thiệu các proxy, các biểu diễn trừu tượng của các đối tượng thực. Hệ thống Reality Proxy chuyển đổi liền mạch mục tiêu tương tác từ đối tượng vật lý sang proxy trong quá trình lựa chọn. Ngoài việc hỗ trợ lựa chọn cơ bản, Reality Proxy sử dụng AI để làm giàu proxy bằng các thuộc tính ngữ nghĩa và các mối quan hệ không gian phân cấp của các đối tượng, cho phép các tương tác mới như lướt qua, lọc dựa trên thuộc tính, điều hướng nhóm lồng nhau và lựa chọn nhiều đối tượng phức tạp mà không cần hệ thống cử chỉ hoặc menu mới. Chúng tôi chứng minh tính linh hoạt của Reality Proxy trong nhiều tình huống khác nhau, bao gồm truy xuất thông tin văn phòng, điều hướng không gian quy mô lớn và điều khiển nhiều máy bay không người lái. Các đánh giá của chuyên gia chứng minh tính hữu ích và khả năng sử dụng của hệ thống, cho thấy rằng các trừu tượng dựa trên proxy cung cấp một mô hình tương tác mạnh mẽ và có thể khái quát hóa cho các hệ thống MR trong tương lai.
