본 논문은 대규모 언어 모델(LLM)의 미니 배치 크기를 증가시켜 훈련 속도를 개선하고 성능을 향상시키는 방법을 제안합니다. 대용량 GPU 메모리가 필요하다는 점을 고려하여, 기존의 미니 배치 코어셋 접근법의 한계를 지적하고, 이를 개선한 CoLM (Coresets for Training LLMs)을 제시합니다. CoLM은 소규모 데이터 소스의 대표성을 보장하고, Adam 옵티마이저를 사용하는 상황에서 기울기 정규화를 수행하며, 고차원 기울기를 효율적으로 스파스화하는 기법을 활용합니다. 실험 결과, CoLM은 Phi-2, Phi-3, Zephyr, Llama-3 모델의 미세 조정 시 메모리 요구량을 2배 줄이고, 4배 큰 미니 배치로 훈련한 것보다 더 나은 성능을 달성했습니다. 또한, LoRA와 같은 기존의 메모리 효율적인 훈련 방법과도 원활하게 통합됩니다.
