Cet article présente une méthode d'intégration des entrées LiDAR et caméra dans une représentation unifiée en vue aérienne (BEV) afin d'améliorer les performances de perception 3D des véhicules autonomes. Les méthodes existantes souffrent d'un désalignement spatial entre les caractéristiques LiDAR et caméra, ce qui entraîne des erreurs dans la supervision précise de la profondeur des branches de caméra et l'agrégation des caractéristiques intermodales. Cet article démontre que les causes profondes de ces désalignements résident dans les imprécisions d'étalonnage et les erreurs de projection causées par l'effet d'obturateur roulant. Nous constatons que ces erreurs sont concentrées de manière prévisible aux limites objet-arrière-plan, que les détecteurs 2D identifient de manière fiable. Par conséquent, notre objectif principal est d'exploiter les informations a priori des objets 2D pour préaligner les caractéristiques intermodales avant la fusion. Pour remédier au désalignement local, nous proposons l'étalonnage en profondeur guidé par priorité (PGDC), qui utilise les informations a priori 2D pour atténuer le désalignement et maintenir la précision des paires de caractéristiques intermodales. Pour corriger les erreurs d'alignement globales, nous introduisons la fusion géométrique sensible aux discontinuités (DAGF), qui supprime le bruit résiduel du PGDC et améliore explicitement les variations de profondeur distinctes aux limites objet-arrière-plan afin de générer des représentations structurellement reconnaissables. Pour exploiter efficacement les représentations alignées, nous intégrons le modulateur de profondeur à guidage structurel (SGDM), qui fusionne efficacement la profondeur alignée et les caractéristiques de l'image grâce à un mécanisme d'attention contrôlée. La méthode proposée atteint des performances de pointe (mAP 71,5 %, NDS 73,6 %) sur le jeu de données de validation nuScenes.
