Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Towards AI-Augmented Data Quality Management: From Data Quality for AI to AI for Data Quality Management

Created by
  • Haebom

저자

Heidi Carolina Tamm, Anastasija Nikiforova

개요

본 논문은 대규모 조직에서 흔히 사용하는 데이터 저장소인 데이터 웨어하우스 내에서 데이터 품질 관리 자동화의 잠재력을 탐구한다. 시중의 DQ(Data Quality) 도구와 학술 문헌에 대한 체계적인 검토를 통해 자동으로 데이터 품질 규칙을 탐지하고 적용하는 기능을 평가하였다. 151개의 도구를 검토한 결과, 대부분의 도구는 데이터 웨어하우스가 아닌 특정 도메인 데이터베이스에서 데이터 정제 및 수정에 중점을 두고 있음을 밝혔다. 데이터 품질 규칙을 탐지할 수 있는 도구는 10개에 불과했으며, 데이터 웨어하우스에 이를 구현하는 도구는 더욱 적었다. 따라서 데이터 웨어하우스에서 AI 기반 DQ 규칙 탐지를 위한 시장과 학계 연구의 상당한 격차를 강조하고, 이 분야의 추가 개발을 통해 DQ 관리 프로세스의 효율성을 높이고 인력 부담과 비용을 절감할 것을 주장한다. 데이터 웨어하우스 환경에 맞춘 데이터 품질 관리 방식 개선을 위한 고급 도구의 필요성을 강조하며, 조직이 요구 사항에 가장 적합한 데이터 품질 도구를 선택하는 데 도움이 될 수 있다.

시사점, 한계점

시사점: 데이터 웨어하우스 환경에서 자동화된 데이터 품질 관리의 중요성과 시장 및 학계 연구의 격차를 명확히 제시함. AI 기반 자동 DQ 규칙 탐지 및 적용 도구 개발의 필요성을 강조. 조직의 데이터 품질 도구 선택에 대한 가이드라인 제공.
한계점: 검토 대상 도구의 수는 많지만, 실제 데이터 웨어하우스 환경에서의 실험적 검증이나 성능 평가는 부족할 수 있음. 특정 도메인에 편향된 도구 검토 가능성. AI 기반 DQ 규칙 탐지의 구체적인 기술적 접근 방식이나 알고리즘에 대한 자세한 설명 부족.
👍