본 논문은 소프트맥스 어텐션 메커니즘에 특화된 미러 강하(MD) 알고리즘의 수렴 특성과 암묵적 바이어스를 연구합니다. 특히, $\ell_p$-노름의 $p$승을 잠재 함수로 선택한 MD 알고리즘이 분류 문제에 적용될 때, $\ell_p$-노름 목적 함수를 가진 일반화된 하드 마진 SVM으로 방향으로 수렴함을 보입니다. 또한, 키-쿼리 행렬과 디코더의 공동 최적화 역학을 분석하여, 각 하드 마진 SVM 솔루션으로의 수렴 조건을 설정합니다. 실제 데이터에 대한 실험을 통해 MD 알고리즘이 일반적인 경사 하강(GD)보다 일반화 성능을 향상시키고, 최적 토큰 선택에 우수함을 입증합니다.
