Data Extract Program(StandAlone)
PML을 사용하여 대용량의 데이터를 추출하기에는 너무많은 메모리의 사용과 속도저하 이슈가 있으며 .NET을 ADDIN하여 사용한다 하더라도 애초에 ADDIN 과정이 번거롭고 E3D DESING 모듈 자체가 무겁기에 메모리가 넉넉하지 않은것도 사실입니다. 그러기에 E3D 모듈을 직접 실행하지 않고 STANDALONE을 통해 DB에 접속하여 대용량의 DATA 를 추출하기 위해 만들었습니다. DB를 COLLECT 하는 과정에서 너무 많은 DATA를 COLLECT시 멈춰버리기에 속도를 위해 COLLECT 범위를 세분화하였습니다. 가능한한 부분에서 속도 개선을 위해 병렬적으로 데이터를 처리하도록 하였습니다. 속도도 속도이지만 대용량 데이터 처리시 E3D의 경우 틩겨버리는 현상이 잦아 안정성을 높이도록 주의하여 작업하였습니다. 환경에 따라 다르지만 90만행 10개열 정도의 DATA를 추출하는데 5~6분가량 소요되었던것 같습니다.
- BitoB