Order in Desbordante: Techniques for Efficient Implementation of Order Dependency Discovery Algorithms
작성자
카테고리
Empty
저자
Yakov Kuzin, Dmitriy Shcheka, Michael Polyntsov, Kirill Stupakov, Mikhail Firsov, George Chernishev
💡 개요
본 연구는 데이터셋 내에서 특정 열 목록이 다른 열에 따라 순서대로 정렬되어 있음을 나타내는 패턴인 순서 의존성(Order Dependency, OD)을 효율적으로 발견하는 기술을 탐구합니다. 기존 연구들이 알고리즘 자체에만 집중했던 것과 달리, 본 논문은 C++로 FASTOD와 ORDER 두 가지 OD 발견 알고리즘을 재구현하고 성능 병목 현상을 분석하여 효율성을 극대화하는 기법들을 제안합니다. Desbordante 데이터 프로파일링 도구 내에서의 실험 결과, 재구현만으로 최대 3배, 추가 기법 적용 시 최대 10배의 성능 향상과 최대 2.9배의 메모리 소비 감소를 달성했습니다.
🔑 시사점 및 한계
•
데이터 프로파일링 분야에서 순서 의존성 발견의 실제 산업 적용 가능성을 높였습니다.
•
알고리즘 구현의 효율성 개선이 계산 집약적인 데이터 분석 작업의 성능을 크게 향상시킬 수 있음을 보여주었습니다.
•
제안된 기법들의 일반화 및 다양한 데이터 특성과 규모에 대한 추가적인 검증이 필요합니다.
