LiDAR 기반 3D 패노픽 분할은 LiDAR 센서 데이터의 고유한 희소성으로 인해 원거리 또는 작은 물체를 정확하게 인식하는 데 어려움을 겪습니다. 본 논문에서는 LiDAR 입력과 카메라 이미지를 통합하여 이 문제를 해결하는 새로운 다중 모달 3D 패노픽 분할 프레임워크인 Image-Assists-LiDAR (IAL)을 제안합니다. IAL은 모달 동기화 데이터 증강 전략인 PieAug를 도입하여 LiDAR와 이미지 입력 간의 정렬을 보장하고, 트랜스포머 디코더를 사용하여 패노픽 분할 결과를 직접 예측합니다. 기하학적 안내 토큰 융합(GTF) 모듈을 통해 LiDAR 및 이미지 특징을 디코더의 토큰으로 효과적으로 융합하고, 사전 기반 쿼리 생성(PQG) 모듈을 통해 각 모달의 상보적 강점을 쿼리 초기화의 사전 정보로 활용하여 디코더의 정확한 인스턴스 마스크 생성 능력을 향상시킵니다. IAL 프레임워크는 두 가지 널리 사용되는 벤치마크에서 기존의 다중 모달 3D 패노픽 분할 방법보다 최첨단 성능을 달성합니다.
