Cet article étudie la résolution du problème de détection d'objets fantômes (objets inexistants ou mal localisés) dus à des perturbations environnementales (bruit des capteurs, éclairage, météo et attaques externes) dans les véhicules autonomes. Les méthodes existantes évitent tous les objets détectés pour garantir la sécurité, mais l'évitement des objets fantômes peut conduire à des situations plus dangereuses. Cet article présente une méthode de détection d'objets fantômes par apprentissage relationnel entre des scénarios complets et développe un système de navigation intégré de bout en bout. Nous apprenons les relations spatio-temporelles entre les véhicules environnants afin de représenter la fiabilité des informations de chaque véhicule, et nous les utilisons pour construire un réseau de navigation robotisé. Ce réseau est conçu pour apprendre à exprimer la fiabilité et à agréger les informations avec incertitude, ce qui améliore l'efficacité et les performances de généralisation. La faisabilité et l'efficacité de la méthode proposée sont démontrées par les résultats de simulation CARLA. Il s'agit de la première étude sur la navigation robuste de bout en bout utilisant l'apprentissage relationnel de graphes en présence de véhicules fantômes.