본 논문은 자율 주행 소프트웨어의 안전성과 성능 확보를 위해 실시간 소프트웨어 결함 예측(JIT-SDP)을 위한 새로운 다중 모드 학습 기반 접근법을 제안한다. 제안된 모델은 사전 훈련된 Transformer와 결합 모듈을 활용하여 코드 특징, 변경 메트릭, 상황 정보 등 소프트웨어 시스템 데이터셋의 다양한 모드를 처리한다. 텍스트, 수치, 범주형 데이터 간의 어텐션 메커니즘을 활용하여 다중 모드 학습을 적용하는 것이 핵심이다. 결합 모듈에서는 텍스트 데이터에 대한 Transformer 모델의 출력과 범주형 및 수치형 데이터를 포함하는 표 형태 특징의 출력을 결합하여 완전 연결 계층을 사용하여 예측값을 생성한다. GitHub의 Apollo, Carla, Donkeycar 세 개의 오픈소스 자율 주행 시스템 소프트웨어 프로젝트에 대한 실험 결과, 제안된 접근법이 기존의 딥러닝 및 머신러닝 모델보다 평가 지표 측면에서 성능이 훨씬 뛰어남을 보여준다. 본 연구 결과는 개선된 결함 예측을 통한 자율 주행 소프트웨어의 신뢰성 및 안전성 향상에 다중 모드 학습의 잠재력을 강조한다.