본 논문은 위치-경로 문제(CLRP) 및 개방형 위치-경로 문제(OCLRP)를 해결하기 위해 딥 강화 학습(DRL)을 활용하는 새로운 접근 방식인 DRLHQ (DRL with Heterogeneous Query)를 제안합니다. 특히, CLRP를 엔드 투 엔드 학습 방식으로 해결하는 최초의 시도로, 인코더-디코더 구조를 따릅니다. 다양한 결정 사항에 맞게 조정된 마르코프 의사 결정 프로세스(MDP)로 CLRP를 재구성하여 다른 DRL 기반 방법에도 적용 가능한 일반적인 모델링 프레임워크를 제시합니다. 또한, 위치 및 경로 결정 간의 상호 의존성을 더 잘 처리하기 위해 동적으로 적응하는 새로운 이종 쿼리 어텐션 메커니즘을 도입합니다. 실험 결과는 합성 데이터와 벤치마크 데이터셋에서 제안된 방법이 기존 및 DRL 기반 기준선보다 우수한 솔루션 품질과 일반화 성능을 보여줍니다.