Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Describe Anything Anywhere At Any Moment

Created by
  • Haebom
Category
Empty

저자

Nicolas Gorlo, Lukas Schmid, Luca Carlone

개요

DAAAM은 증강 현실부터 대규모 환경에서의 로봇 자율 주행에 이르는 컴퓨터 비전 및 로봇 공학 응용 분야를 위해 설계된 새로운 시공간 메모리 프레임워크입니다. DAAAM은 3D에서 풍부한 개방 어휘 설명을 생성하는 것이 실시간 성능을 저하시키는 기존 방법의 문제점을 해결하고자 합니다. DAAAM은 localized captioning 모델을 통해 자세한 의미 설명을 추론하는 최적화 기반 프론트엔드를 도입하여, 온라인 처리를 위해 추론 속도를 대폭 향상시킵니다. 이를 통해 계층적 4D 장면 그래프를 구축하여 효과적인 메모리 표현을 만듭니다. DAAAM은 실시간 성능을 유지하면서 기하학적으로 구체화된 설명을 가진 4D 장면 그래프를 구성합니다. 또한 추론 및 추론을 위해 툴 호출 에이전트와 효과적으로 인터페이스합니다. NaVQA 벤치마크에 대한 시공간 질문 응답 및 SG3D 벤치마크에 대한 순차적 작업 구체화에 대한 포괄적인 평가를 수행했습니다.

시사점, 한계점

시사점:
대규모 및 실시간 4D 장면 이해를 위한 새로운 시공간 메모리 프레임워크 제안.
localized captioning 모델을 활용하여 상세한 의미 설명을 추론하는 최적화 기반 프론트엔드 도입.
계층적 4D 장면 그래프를 구축하여 글로벌하게 공간적 및 시간적으로 일관된 메모리 표현 생성.
NaVQA 벤치마크에서 질문 정확도 53.6% 향상, 위치 오차 21.9% 감소, 시간 오차 21.6% 감소.
SG3D 벤치마크에서 작업 구체화 정확도 27.8% 향상.
데이터 및 코드 오픈 소스 공개.
한계점:
본 논문에서 구체적인 한계점에 대한 언급은 없음.
👍