본 논문은 3차원 대규모 다중 모달 모델(LMM)에서 인코더 기반 아키텍처의 한계를 극복하기 위해 인코더 없는 아키텍처를 최초로 종합적으로 연구한 결과를 제시합니다. 기존 인코더 기반 3D LMM은 다양한 포인트 클라우드 해상도에 적응하지 못하고, 인코더에서 추출된 포인트 특징이 대규모 언어 모델(LLM)의 의미적 요구를 충족시키지 못하는 문제점을 가지고 있습니다. 본 논문에서는 LLM이 3D 인코더 역할을 수행하도록 인코더를 제거하는 핵심 요소들을 제시합니다. 구체적으로, 사전 학습 단계에서 LLM에 내장된 의미적 인코딩 전략과 다양한 포인트 클라우드 자기 지도 학습 손실 함수를 제안하고, 고차원 의미를 추출하기 위한 하이브리드 의미 손실 함수를 제시합니다. 또한, 지시어 미세 조정 단계에서 계층적 기하 구조 집계 전략을 도입하여 LLM 계층에 귀납적 편향을 통합하여 포인트 클라우드의 세부 정보에 집중하도록 합니다. 최종적으로, 인코더 없는 3D LMM인 ENEL을 제시하며, 7B 모델이 ShapeLLM-13B와 같은 최첨단 모델과 경쟁력을 갖는 것을 보여줍니다. 분류, 캡션 생성, VQA 작업에서 각각 55.10%, 50.98%, 43.10%의 성능을 달성하여 인코더 없는 아키텍처가 3D 이해 분야에서 인코더 기반 아키텍처를 대체할 가능성이 높음을 보여줍니다. 코드는 https://github.com/Ivan-Tang-3D/ENEL 에서 공개됩니다.
