# Large Learning Rates Simultaneously Achieve Robustness to Spurious Correlations and Compressibility

### 저자

Melih Barsbey, Lucas Prieto, Stefanos Zafeiriou, Tolga Birdal

### 개요

본 논문은 현대 머신러닝 모델에서 매우 바람직한 두 가지 속성인 강건성과 자원 효율성을 동시에 달성하는 어려움을 다룹니다.  연구진은 높은 학습률이 허위 상관관계에 대한 강건성과 네트워크 압축성을 동시에 달성하는 데 도움이 된다는 것을 밝혔습니다. 높은 학습률은 불변 특징 활용, 클래스 분리, 활성화 스파스성과 같은 바람직한 표현 속성을 생성한다는 것을 보여줍니다. 다양한 허위 상관관계 데이터셋, 모델 및 최적화기에서 높은 학습률이 다른 하이퍼파라미터 및 정규화 방법보다 이러한 속성들을 일관되게 만족시키는 데 유리하다는 것을 보여줍니다.  또한 표준 분류 작업에서 높은 학습률의 성공이 훈련 데이터셋에 숨겨진/희귀한 허위 상관관계를 해결하는 것과 관련이 있다는 강력한 증거를 제시합니다. 이 현상의 근본적인 메커니즘에 대한 조사는 높은 학습률에서 편향-상충 샘플에 대한 자신감 있는 오류 예측의 중요성을 보여줍니다.

### 시사점, 한계점

- **시사점:** 높은 학습률이 모델의 강건성과 자원 효율성을 동시에 향상시키는 효과적인 방법임을 제시합니다.  이는 기존의 정규화 기법을 보완하거나 대체할 수 있는 새로운 접근법을 제공합니다. 높은 학습률이 표준 분류 작업에서의 성공과 숨겨진 허위 상관관계 해결과의 연관성을 제시하여, 학습률 설정에 대한 새로운 시각을 제공합니다.

- **한계점:**  본 연구는 특정 데이터셋과 모델에 대한 실험 결과를 바탕으로 하므로, 다른 데이터셋이나 모델에 대한 일반화 가능성을 추가적으로 검증할 필요가 있습니다. 높은 학습률의 효과에 대한 메커니즘 분석이 더욱 심도 있게 이루어져야 합니다.  편향-상충 샘플에 대한 자신감 있는 오류 예측의 중요성을 제시하였지만, 이를 더욱 명확하게 정량화하고 설명할 필요가 있습니다.

[PDF 보기](https://arxiv.org/pdf/2507.17748)

![https://i.imgur.com/KvN4VOI.jpeg](https://i.imgur.com/KvN4VOI.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).