본 논문은 단일빔 음향측심기(SBES)로부터 시간당 단일 수심 측정만을 이용하여, 수심 제약 하에서 자율 수상 차량(ASV)의 항해를 위한 강화 학습(RL) 프레임워크를 제안한다. 제한된 센서 정보로 인해 어려움을 겪는 기존 항해 전략과 달리, 가우시안 프로세스(GP) 회귀를 RL 프레임워크에 통합하여 ASV가 드문 소나 판독값으로부터 점진적으로 수심 지형도를 추정하고, 환경 인식을 향상시켜 의사 결정을 개선한다. 시뮬레이션에서 실제 환경으로의 전이 학습을 통해 실제 수중 환경에 대한 일반화 성능을 입증하고, 실험 결과를 통해 제안된 방법이 안전성을 유지하면서 수심이 얕은 환경에서 ASV 항해 성능을 향상시키는 능력을 검증한다.