본 논문은 강화학습(RL) 에이전트 훈련에 필요한 막대한 계산 자원과 긴 훈련 시간을 줄이기 위해 Google Brain의 Sensory Neuron의 기반을 토대로 연구를 진행했습니다. Sensory Neuron은 감각 뉴런 시스템에서 순열 불변성을 유지하는 새로운 신경망 아키텍처를 도입했습니다. 기본 모델은 기존 방식보다 성능이 크게 향상되었지만, 학습 과정의 효율성을 더욱 높일 여지가 있음을 확인했습니다. 본 논문에서는 매핑 함수를 사용하여 키 벡터(K)에 비선형 변환을 적용하는 수정된 어텐션 메커니즘을 제안하여 새로운 키 벡터(K') 집합을 생성합니다. 이 비선형 매핑은 어텐션 메커니즘의 표현 능력을 향상시켜 모델이 더 복잡한 특징 상호작용을 인코딩하고 성능 저하 없이 수렴 속도를 높입니다. 향상된 모델은 학습 효율성이 크게 향상됨을 보여주며, 강화학습 알고리즘 발전에 비선형 어텐션 메커니즘의 잠재력을 보여줍니다.
