본 논문에서는 정보 내용을 극대화하고 중복성을 최소화하는 새로운 데이터 가지치기 방법인 InfoMax를 제시합니다. InfoMax는 샘플의 중요도 점수를 사용하여 개별 샘플의 정보량을 측정하고, 샘플 간 유사성을 기반으로 중복성을 정량화합니다. 핵심 집합 선택 문제를 이산 이차 계획법(DQP) 문제로 공식화하여 개별 샘플의 기여도 합에서 유사한 샘플에 의해 도입된 중복성을 뺀 값을 최대화합니다. 효율적인 경사 기반 솔버와 유사성 행렬에 대한 스파스화 기법, 데이터셋 분할 전략을 통해 수백만 개의 샘플을 가진 데이터셋에도 확장 가능성을 확보합니다. 이미지 분류, 비전-언어 사전 훈련, 대규모 언어 모델의 지시 조정 등 다양한 데이터 가지치기 작업에서 InfoMax의 우수한 성능을 실험적으로 보여줍니다. 코드는 https://github.com/hrtan/InfoMax 에서 이용 가능합니다.
