Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL

Thu, 30 Apr 2026 07:54:53 GMT

### 저자

Chenlu Ye, Xuanchang Zhang, Yifan Hao, Zhou Yu, Ziji Zhang, Abhinav Gullapalli, Hao Chen, Jing Huang, Tong Zhang

### 💡 개요

본 논문은 LLM RL 훈련에서 발생하는 정책 불안정성 및 훈련-추론 불일치 문제를 해결하기 위해 Adaptive Layerwise Perturbation (ALP)이라는 새로운 기법을 제안합니다. ALP는 훈련 시 각 레이어의 은닉 상태에 학습 가능한 작은 교란을 주입하여, 업데이트된 정책과 추론 시 정책 간의 분포 간극을 줄이고 중요도 비율의 꼬리를 완화합니다. 이를 통해 훈련 안정성을 높이고 탐색을 향상시키는 것을 목표로 합니다.

### 🔑 시사점 및 한계

- LLM RL 훈련에서 발생하는 정책 불안정성과 훈련-추론 불일치 문제를 효과적으로 해결할 수 있는 새로운 방법론을 제시합니다.

- ALP는 중요도 비율의 꼬리를 완화하고 KL 발산을 줄이며 탐색을 증진시켜 성능 향상을 가져옵니다.

- 모든 레이어에 걸친 표현 수준의 교란이 가장 효과적이며, 부분 레이어 및 로짓(logits)만 교란하는 변형보다 우수함을 입증했습니다.

- 향후 연구에서는 ALP의 교란 강도를 동적으로 조절하거나, 다양한 LLM 아키텍처 및 RL 알고리즘에 적용하는 방안을 탐색할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2603.19470)