본 논문은 증강현실 및 가상현실(AR/VR)에서의 실시간 인스턴스 분할 문제를 해결하기 위해 시선 추적 기반의 새로운 방법인 FovealSeg 프레임워크를 제안합니다. 기존의 인스턴스 분할 방법들이 높은 계산 비용으로 인해 AR/VR 기기에서 실시간 처리에 어려움을 겪는 점을 해결하고자, 사용자의 시선 정보를 활용하여 관심 영역에만 인스턴스 분할을 수행함으로써 계산량을 크게 줄이고 실시간 성능을 향상시킵니다. 제안된 FSNet은 ADE20K 데이터셋에서 0.56, LVIS 데이터셋에서 0.54의 IoU를 달성하여 기존 방법보다 우수한 성능을 보였습니다. 소스 코드는 공개되어 있습니다.
시사점, 한계점
•
시사점:
◦
시선 기반의 인스턴스 분할을 통해 AR/VR 기기의 계산 부하를 효과적으로 줄일 수 있음을 보여줌.
