본 논문은 3차원 대규모 다중 모달 모델(LMM)에서 인코더 기반 아키텍처의 한계를 극복하기 위해 인코더 없는 아키텍처를 처음으로 종합적으로 연구한 논문입니다. 인코더 기반 3D LMM은 다양한 포인트 클라우드 해상도에 적응하지 못하고, 인코더의 포인트 특징이 대규모 언어 모델(LLM)의 의미적 요구를 충족하지 못하는 문제점을 가지고 있습니다. 본 논문에서는 LLM이 3D 인코더 역할을 수행하도록 인코더를 제거하기 위한 핵심 요소들을 제시합니다. 구체적으로, 사전 훈련 단계에서 LLM에 내장된 의미 인코딩 전략과 다양한 포인트 클라우드 자기 지도 학습 손실 함수를 활용하고, 고차원 의미를 추출하기 위한 하이브리드 의미 손실 함수를 제안합니다. 또한, 지시어 미세 조정 단계에서 계층적 기하 구조 집계 전략을 도입하여 LLM 계층에 귀납적 편향을 통합하여 포인트 클라우드의 세부 정보에 집중하도록 합니다. 결과적으로, 인코더 없는 3D LMM인 ENEL을 제시하며, 7B 모델이 ShapeLLM-13B와 같은 최첨단 모델과 경쟁하며 분류, 캡션 생성, VQA 작업에서 각각 55.10%, 50.98%, 43.10%의 성능을 달성함을 보여줍니다.
