본 논문은 대규모 언어 모델(LLM)과 데이터 관리(DATA)의 상호 작용에 대한 종합적인 검토를 제공합니다. DATA4LLM 측면에서는 LLM의 사전 훈련, 사후 훈련, 검색 증강 생성, 에이전트 워크플로우 등에 필요한 고품질, 다양성, 시의성 있는 데이터를 제공하기 위한 대규모 데이터 처리, 저장 및 제공을 다룹니다. 구체적으로 데이터 처리, 저장, 제공 각 단계의 세부적인 과정과 기술적 난제를 분석합니다. 반대로 LLM4DATA 측면에서는 데이터 정리, 통합, 검색과 같은 데이터 조작, 구조화, 반구조화, 비구조화 데이터에 대한 추론을 포함하는 데이터 분석, 그리고 LLM 기법을 활용한 시스템 최적화 등 LLM이 데이터 관리의 범용 엔진으로 부상하는 현황을 검토합니다.
시사점, 한계점
•
시사점:
◦
LLM과 데이터 관리의 상호 작용에 대한 포괄적인 이해를 제공합니다.
◦
DATA4LLM 및 LLM4DATA 양 측면에서의 최신 기술 동향을 제시합니다.
◦
LLM 기반 데이터 관리 시스템 개발 및 최적화에 대한 방향을 제시합니다.
•
한계점:
◦
아직 초기 단계의 연구이므로 실제 적용 사례가 제한적일 수 있습니다.
◦
LLM의 한계 (예: 환각, 편향)가 데이터 관리에 미치는 영향에 대한 심층적인 분석이 부족할 수 있습니다.
