본 논문은 기존 frustum-based 3D 객체 검출 방법이 도로 환경에서 이미지 정보를 충분히 활용하지 못하고, 특히 농업 환경에 대한 연구가 부족하다는 문제점을 해결하기 위해, 복잡한 트랙터 도로 환경에서 80-line LiDAR와 카메라를 이용하여 객체 검출 데이터셋을 구축하고 FrustumFusionNets (FFNets)라는 새로운 네트워크를 제안합니다. FFNets는 이미지 기반 2D 객체 검출 결과를 활용하여 point cloud의 3D 공간에서 검색 영역을 좁히고, Gaussian mask를 도입하여 point cloud 정보를 향상시킵니다. point cloud 특징 추출 파이프라인과 이미지 특징 추출 파이프라인을 각각 사용하여 frustum point cloud와 crop image에서 특징을 추출한 후, 두 모달리티의 데이터 특징을 연결하고 융합하여 3D 객체 검출을 수행합니다. 실험 결과, 구축된 트랙터 도로 데이터 테스트 세트에서 FrustumFusionNetv2는 자동차와 사람이라는 두 가지 주요 도로 객체의 3D 객체 검출 정확도가 각각 82.28%와 95.68%를 달성하여 기존 모델보다 1.83%와 2.33% 향상된 성능을 보였습니다. 이는 트랙터 도로 환경에서 무인 농업 기계를 위한 하이브리드 융합 기반 다중 객체 고정밀 실시간 3D 객체 검출 기술을 제공합니다. KITTI Benchmark Suite 검증 세트에서도 FrustumFusionNetv2는 다른 frustum-based 3D 객체 검출 방법에 비해 도로 보행자 객체 검출에서 뛰어난 성능을 보였습니다.
