본 논문은 소프트맥스 어텐션 메커니즘을 위한 다양한 미러 디센트(MD) 알고리즘의 수렴 특성과 암묵적 편향을 조사합니다. 특히, 잠재 함수를 $\ell_p$-norm의 $p$-제곱으로 선택한 MD 알고리즘이 분류 문제에 적용될 때 일반화된 하드 마진 SVM으로 수렴 방향을 보임을 증명합니다. 기존 경사 하강법(GD)과 비교하여 수렴 속도가 유사함을 보이고, 키-쿼리 행렬과 디코더의 공동 최적화 역학을 분석하여 각각의 하드 마진 SVM 솔루션으로 수렴하는 조건을 확립합니다. 실제 데이터를 이용한 실험을 통해 MD 알고리즘이 표준 GD보다 일반화 성능이 우수하고 최적 토큰 선택에 탁월함을 보여줍니다.
