AdaFRUGAL: Adaptive Memory-Efficient Training with Dynamic Control

Thu, 30 Apr 2026 07:45:35 GMT

### 저자

Quang-Hung Bui, Anh Son Ta

### 💡 개요

대규모 언어 모델(LLM) 학습은 옵티마이저 상태 오버헤드로 인해 메모리 집약적입니다. 기존 FRUGAL 프레임워크는 그래디언트 분할로 메모리 부담을 줄이지만, 고정된 하이퍼파라미터($\rho$, $T$) 때문에 수동 튜닝이 필요하여 적응성에 한계가 있습니다. 본 논문은 선형 감소하는 $\rho$와 손실 인지 기반의 $T$ 동적 제어를 통해 이러한 과정을 자동화하는 AdaFRUGAL을 제안합니다.

### 🔑 시사점 및 한계

- AdaFRUGAL은 GPU 메모리 사용량과 학습 시간을 크게 줄이면서도 기존 AdamW 및 정적 FRUGAL과 경쟁력 있는 성능을 유지합니다.

- 동적 제어 메커니즘을 통해 수동 튜닝의 필요성을 제거하여 LLM 학습의 실용성과 자율성을 향상시킵니다.

- 새로운 동적 스케줄링 방법을 LLM 학습에 성공적으로 적용하여 자원 제약적인 환경에서 효율적인 학습을 가능하게 합니다.

- 제안된 동적 제어 메커니즘의 이론적 기반을 더 강화하고, 다양한 LLM 아키텍처 및 학습 태스크에 대한 일반화 가능성을 추가적으로 탐구해야 합니다.

[PDF 보기](https://arxiv.org/pdf/2601.11568)