Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Data Quality for AI to AI for Data Quality: A Systematic Review of Tools for AI-Augmented Data Quality Management in Data Warehouses

Created by
  • Haebom

저자

Heidi Carolina Tamm, Anastasija Nikiforova

개요

본 연구는 데이터 웨어하우스 환경에서 AI 기반 데이터 품질 관리(DQM)를 지원하는 기존 도구들의 현황을 조사한 체계적 문헌 검토 연구입니다. 151개의 DQM 도구를 대상으로 자동화 기능, 특히 데이터 웨어하우스에서 데이터 품질 규칙 감지 및 추천 기능을 평가했습니다. 기능, 사용 가능성, 규정 준수, 데이터 웨어하우스와의 아키텍처 호환성을 기준으로 다단계 선별 과정을 거친 결과, AI 기반 DQM 기준을 충족하는 도구는 10개에 불과했습니다. 분석 결과, 대부분의 도구는 AI를 위한 데이터 정제 및 준비에 초점을 맞추고 있으며, AI를 활용하여 DQM 자체를 개선하는 데는 중점을 두지 않는 것으로 나타났습니다. 메타데이터 및 ML 기반 규칙 감지 기술은 존재하지만, SQL 기반 규칙 명세, 조정 로직, AI 기반 권장 사항의 설명 가능성과 같은 기능은 부족했습니다. 본 연구는 도구 선택을 위한 실질적인 지침을 제공하고 차세대 AI 기반 DQM 솔루션을 위한 중요한 설계 요구 사항을 제시하며, "AI를 위한 데이터 품질"에서 "데이터 품질 관리를 위한 AI"로의 패러다임 전환을 주장합니다.

시사점, 한계점

시사점:
AI 기반 DQM 도구의 현황과 한계를 명확히 제시하여 향후 연구 및 개발 방향을 제시합니다.
도구 선택을 위한 실질적인 지침을 제공합니다.
"AI를 위한 데이터 품질"에서 "데이터 품질 관리를 위한 AI"로의 패러다임 전환을 제안합니다.
데이터 웨어하우스 환경에서 AI 기반 DQM 도구 개발의 중요성을 강조합니다.
한계점:
분석에 사용된 DQM 도구의 수가 제한적일 수 있습니다 (151개).
선별 기준에 따라 AI 기반 DQM 기능을 충족하는 도구가 10개로 제한적입니다.
특정 기능 (SQL 기반 규칙 명세, 조정 로직, 설명 가능성)에 대한 평가가 더 자세하게 이루어질 필요가 있습니다.
다양한 데이터 유형 및 웨어하우스 환경에 대한 일반화 가능성에 대한 검토가 필요합니다.
👍