본 논문은 강화학습을 통해 자유 번역을 학습하는 심층 추론 번역 모델인 DeepTrans를 제안합니다. 기존의 심층 추론 LLM들이 복잡한 작업에서 좋은 성능을 보였지만, 문화적 차이를 고려하는 자유 번역 분야에서는 아직 미개척 분야였습니다. DeepTrans는 사전 정의된 평가 기준을 사용하여 번역 결과와 사고 과정 모두에 대한 보상 모델을 구축하고, 이를 통해 강화학습 과정에서 자유 번역 방법을 학습합니다. 이 방법은 인력이 많이 필요한 수동 주석이나 자원 집약적인 데이터 합성 없이도 학습이 가능합니다. 실험 결과, Qwen2.5-7B를 기반으로 한 DeepTrans는 문학 번역에서 성능을 16.3% 향상시켰으며, 강력한 심층 추론 기준 모델 및 합성 데이터로 미세 조정된 기준 모델보다 우수한 성능을 보였습니다. 또한, 강화학습 탐색 과정에서 발견된 실패 사례와 흥미로운 결과들을 요약하여 제시합니다.
