본 논문은 강화학습(RL) 에이전트 훈련에 필요한 막대한 계산 자원과 긴 훈련 시간을 줄이기 위해, 순열 불변 감각 처리를 갖춘 신경망 아키텍처를 기반으로 한 연구를 제시한다. 기존의 어텐션 메커니즘을 수정하여 키 벡터(K)에 비선형 변환을 적용, 사용자 정의 매핑 함수를 통해 풍부한 표현(K')을 생성하는 비선형 어텐션(NLA) 메커니즘을 제안한다. NLA 메커니즘은 어텐션 레이어의 표현 능력을 향상시켜 에이전트가 더욱 표현력 있는 특징 상호작용을 학습할 수 있도록 한다. 결과적으로, 제안된 모델은 기준 모델과 동등한 성능을 유지하면서 훈련 효율성이 크게 향상되고 수렴 속도가 빨라지는 것을 보여준다. 이는 효과를 희생하지 않고 강화학습을 가속화할 수 있는 비선형 어텐션 메커니즘의 잠재력을 강조한다.
