Not Every AI Problem is a Data Problem: We Should Be Intentional About Data Scaling
Created by
Haebom
저자
Tanya Rodchenko, Natasha Noy, Nino Scherrer
개요
본 논문은 대규모 언어 모델(LLM) 학습 및 확장에 필요한 데이터 양이 증가함에 따라, 단순히 데이터 확보량에 집중하기보다는 데이터 확장의 이점을 얻을 수 있는 작업 유형을 신중하게 선택해야 함을 주장한다. 데이터의 구성 및 구조적 패턴과 같은 데이터의 형태 자체가 데이터 확장에서 우선순위를 정해야 할 작업을 알려주며, 데이터 확장이 비효율적이거나 불충분한 작업을 위한 차세대 컴퓨팅 패러다임 개발에 영향을 미친다고 논의한다.
시사점, 한계점
•
시사점:
◦
데이터 확장 전략 수립 시 단순히 데이터 양이 아닌 데이터의 질과 구조적 특징을 고려해야 함을 강조.
◦
데이터 확장의 효율성이 낮거나 불충분한 작업을 위한 새로운 컴퓨팅 패러다임 개발 필요성 제시.
◦
LLM 개발에 있어 데이터 선택의 중요성을 부각하고, 효율적인 데이터 활용 전략의 필요성을 강조.
•
한계점:
◦
데이터의 "구성 및 구조적 패턴"을 어떻게 정의하고 측정할 것인지에 대한 구체적인 방법론 제시 부족.
