Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Data Pruning by Information Maximization

Created by
  • Haebom

저자

Haoru Tan, Sitong Wu, Wei Huang, Shizhen Zhao, Xiaojuan Qi

개요

InfoMax는 정보 내용을 극대화하고 중복성을 최소화하는 새로운 데이터 가지치기(coreset selection) 방법입니다. 개별 샘플의 중요도 점수를 사용하여 정보량을 측정하고, 샘플 간 유사성을 기반으로 중복성을 정량화합니다. 이를 이진 2차 계획법(DQP) 문제로 공식화하여 개별 샘플의 기여도 합에서 유사한 샘플 간 중복성을 뺀 값을 최대화합니다. 효율적인 경사 기반 솔버와 희소화 기법, 데이터셋 분할 전략을 통해 수백만 개의 샘플을 가진 데이터셋에도 확장 가능합니다. 이미지 분류, 비전-언어 사전 학습, 대규모 언어 모델의 지시어 미세 조정 등 다양한 작업에서 우수한 성능을 보입니다.

시사점, 한계점

•
시사점:
◦
대규모 데이터셋에 효율적으로 적용 가능한 새로운 데이터 가지치기 방법 제시.
◦
정보량 극대화와 중복성 최소화를 동시에 고려하여 coreset의 정보성 향상.
◦
이미지 분류, 비전-언어 사전 학습, 대규모 언어 모델 학습 등 다양한 분야에서의 성능 향상 확인.
•
한계점:
◦
DQP 문제 해결을 위한 경사 기반 솔버의 성능 및 확장성에 대한 추가적인 분석 필요.
◦
샘플 중요도 점수 및 유사성 측정 방식의 일반화 및 다양한 데이터 유형에 대한 적용성 검증 필요.
◦
특정 데이터셋이나 작업에 대한 최적화된 파라미터 설정에 대한 추가적인 연구 필요.
👍
Made with Slashpage