본 논문은 소프트맥스 함수의 온도 매개변수에 대한 새로운 통찰력을 제공합니다. 컨볼루션 신경망과 트랜스포머를 다양한 벤치마크 데이터셋에 적용한 실험적 연구를 통해 적절한 온도 설정이 전반적인 성능 향상에 기여함을 밝혔습니다. 온도 조절이 학습 단계 크기뿐 아니라 모델의 최적화 방향에도 영향을 미친다는 것을 이론적 분석과 실험을 통해 보여줍니다. 또한, 높은 온도가 일반적인 손상, 자연적 섭동 및 표적되지 않은 적대적 공격(예: Projected Gradient Descent)에 대한 모델의 강건성을 향상시킨다는 놀라운 사실을 발견했습니다. 마지막으로, 높은 온도가 표준 소프트맥스 함수보다 적대적 학습을 향상시킬 수 있음을 보여줍니다.
