본 논문은 대규모 언어 모델의 추론 과정이 숨겨질 수 있다는 우려에 대응하기 위해, 해석 가능성 기법이 암호화된 추론을 파악할 수 있는지 조사한다. DeepSeek-R1-Distill-Llama-70B 모델을 ROT-13 암호화를 사용하여 영어 출력과 함께 연쇄적 사고 추론을 수행하도록 미세 조정하고, 로짓 렌즈 분석을 통해 내부 활성화를 사용하여 모델의 숨겨진 추론 과정을 해독하는 능력을 평가한다. 로짓 렌즈가 중간-후반 레이어에서 정확도가 최고조에 달하며 효과적으로 암호화된 추론을 번역할 수 있음을 보여준다. 또한, 로짓 렌즈와 자동 문구 변환을 결합한 완전 비지도 해독 파이프라인을 개발하여 내부 모델 표현에서 완전한 추론 기록을 재구성하는 데 상당한 정확도를 달성한다.
