본 논문은 대규모 언어 모델(LLM)과 데이터 관리(DATA)의 상호 관계를 포괄적으로 검토하는 설문 조사 논문입니다. LLM과 DATA의 상호 작용은 양방향으로 이루어지는데, 한편으로는 DATA4LLM(데이터 관리를 위한 LLM) 관점에서 LLM의 사전 훈련, 사후 훈련, 검색 증강 생성, 에이전트 워크플로우 등에 필요한 고품질, 다양성, 시의성 있는 데이터를 제공하기 위한 대규모 데이터 처리, 저장 및 제공에 중점을 둡니다. 이는 데이터 처리(데이터 획득, 중복 제거, 필터링, 선택, 도메인 믹싱, 합성 증강 등), 데이터 저장(데이터 및 모델 형식, 분산 및 이기종 저장 계층, KV-캐시 관리, 내결함성 체크포인트 등), 데이터 제공(RAG, LLM 추론, 훈련 전략 등)으로 세분화됩니다. 다른 한편으로는 LLM4DATA(LLM을 위한 데이터 관리) 관점에서 LLM이 데이터 관리를 위한 범용 엔진으로 부상하고 있는데, 데이터 조작(자동 데이터 정리, 통합, 검색), 데이터 분석(구조적, 반구조적, 비구조적 데이터에 대한 추론), 시스템 최적화(구성 조정, 쿼리 재작성, 이상 진단 등) 분야에서의 최근 발전을 검토합니다. LLM 기법으로는 검색 증강 프롬프팅, 작업 특화 미세 조정, 다중 에이전트 협업 등이 사용됩니다.
