# PEER pressure: Model-to-Model Regularization for Single Source Domain Generalization

### 저자

Dong Kyu Cho, Inwoo Hwang, Sanghack Lee

### 개요

본 논문은 단일 소스 도메인 일반화에서 데이터 증강 기법의 성능 변동 문제를 다룹니다.  기존 데이터 증강 기반 방법들의 표적 도메인에서의 성능이 훈련 중 변동하는 현상을 분석하고, 이는 다양한 증강 데이터로부터 학습된 지식을 모델이 축적하지 못하고 특징 왜곡이 심화되기 때문이라고 주장합니다. 이에 따라, 프록시 모델을 이용하여 증강 데이터를 학습하고, 주 모델의 파라미터를 프록시 모델과 평균하여 지식을 점진적으로 축적하는 새로운 일반화 방법인 PEER(Parameter-Space Ensemble with Entropy Regularization)을 제안합니다. 두 모델의 출력 표현 간 상호 정보량을 극대화하여 훈련 중 특징 왜곡을 완화합니다. 실험 결과, PEER은 다양한 데이터셋(PACS, Digits, Office-Home, VLCS)에서 OOD 성능 변동을 줄이고 일반화 성능을 향상시키며, 단순한 랜덤 증강만으로도 기존의 복잡한 증강 전략을 사용하는 방법들을 능가하는 최첨단 성능을 달성함을 보여줍니다.

### 시사점, 한계점

- **시사점:**

    - 데이터 증강 기반 단일 소스 도메인 일반화 방법의 성능 변동 문제를 규명하고 해결 방안을 제시.

    - PEER 방법을 통해 단순한 증강 전략으로도 우수한 일반화 성능 달성 가능성 제시.

    - 프록시 모델과 파라미터 평균화, 상호 정보량 극대화 전략의 효과성 입증.

    - 다양한 데이터셋에서의 실험 결과를 통해 일반화 성능 향상을 검증.

- **한계점:**

    - PEER의 프록시 모델 도입으로 인한 계산 비용 증가 가능성.

    - 특정 데이터셋에 최적화된 파라미터 설정에 대한 추가 연구 필요.

    - 제안된 방법의 적용 가능성을 더 다양한 도메인 및 작업에 대해 평가할 필요.

[PDF 보기](https://arxiv.org/pdf/2505.12745)

![https://i.imgur.com/cwhcxGt.jpeg](https://i.imgur.com/cwhcxGt.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).