[R] 탐색적 데이터 분석
Y
Yerim
- R
데이터 분석
•
과거 및 현재에 일어난 상황을 활용하여 현황을 파악하고,
•
앞으로 다가올 상황을 예측하거나 일어날 상황에 대해 타당한 근거 자료를 제시할 수 있도록 준비하는 과정
데이터 분석의 절차
1.
문제 정의/계획
2.
데이터 수집
3.
데이터 정제/전처리
4.
데이터 탐색
5.
데이터 분석
6.
결과 보고
문제 정의 및 계획
•
데이터 분석은 해결하려는 문제를 명확히 정의하는 것에서 시작
•
문제 해결을 위해 어떤 데이터를 수집하고 분석할 지 계획 가능
•
분석하려는 주제를 명확하고 구체적으로 설정, 용어를 이해하기 쉽게 정의
•
브레인스토밍 등을 활용하여 다양한 가설 설정
•
→ 가설설정 단계에서는 최대한 가설을 많이 세운 뒤 데이터 확보 여부를 판단
•
분석 가능 변수를 구성 → 가설에 따라 필요한 변수를 선정 (파생변수도 고려)
•
분석 항목 결정
데이터 준비
•
문제가 명확히 정의되면 문제를 해결하기 위해 필요한 데이터가 무엇인지 파악, 데이터들을 수집
•
분석에 필요한 데이터를 준비한다. → 데이터 준비 방법에는 크게 2가지
•
문제 해결에 필요한 데이터는 다양한 형태로 존재
ex) 데이터베이스, 엑셀 파일, 문서 등
→ 사용하는 데이터 형태를 알고 있어야 한다.
ex) 데이터베이스, 엑셀 파일, 문서 등
→ 사용하는 데이터 형태를 알고 있어야 한다.
1.
필요한 데이터를 찾아 직접 입력하여 생성
•
입력하는 데이터가 적은 경우
•
데이터를 직접 입력할 때 작성에 오류를 범하지 않도록 한다.
2.
기존에 누군가 구성해 둔 데이터를 찾아 활용
•
필요한 데이터를 찾아서 활용
•
일반적으로 이 방법을 사용한다.
•
웹 크롤링 방식을 활용하기도 한다.
데이터 정제 및 전처리
•
원시 데이터(raw data)를 원하는 형태의 데이터로 처리하는 과정
•
수집 데이터를 분석 가능한 형태로 정돈하는 데이터 정제 도는 전처리(data preprocessing) 과정 필요
•
가설을 검정하는 데 도움이 되는 데이터로 가공한다.
◦
ex) 불필요한 변수 제거, 필요한 변수의 데이터만 따로 추출
◦
ex) 변수 데이터 간 연산으로 조건에 맞는 데이터 구성
•
수집 데이터는 바로 분석에 사용할 수 없을 때가 많음
ex) 단위, 결측값, 이상값
ex) 단위, 결측값, 이상값
•
데이터 병합, 추출 → 새로운 데이터 세트를 생성할 수도 있다.
데이터 탐색
•
분석을 위해 정돈된 데이터 자체를 이해하고 파악하는 가벼운 데이터 분석 과정
•
비교적 간단하고 쉬운 통계 기법을 적용하여 전반적인 데이터의 내용 파악
•
탐색적 데이터 분석 (EDA, Exploratory Data Analysis)
데이터 분석
•
데이터 탐색에서 파악한 정보를 바탕으로 보다 심화된 분석 수행
•
ex) 군집 분석, 분류 분석, 주 성분 분석, 시계열 분석 등
•
기술통계량: 빈도, 평균, 최댓값, 이상치 등
◦
데이터 분포를 확인하기 위해 기술 통계량을 파악하고,
◦
다양한 그래프를 그려며 시각화한다.
결과 보고
•
가설을 검정하고 의미 있는 결과를 정리하여 최종 결과를 도출
•
데이터 분석 및 해석을 보고서 형태로 작성
•
최초 정의했던 문제를 해결하는 데 도움이 되는 내용으로 요약
•
데이터 시각화 기술이 중요하게 활용됨
탐색적 데이터 분석
•
수집 데이터를 이해하기 위한 기초 분석 단계
•
데이터 분석은 수집한 데이터의 종류에 따라 사용하는 분석 도구가 달라짐
◦
1차원 데이터: 수집 주제 하나 = 단일 변수 (가장 기본)
◦
2차원 데이터: 여러 개의 수집 주제 = 다중변수
자료의 특성에 따른 분류
범주형 자료 categorical data
•
범주형 categorical data = 질적자료(qualitative data)
•
성별과 같이 범주 또는 그룹으로 구분할 수 있는 값으로 구성된 자료
•
숫자로 표현할 수 없고, 대소 비교나 산술 연산이 적용되지 않는다.
연속형 자료 numerical data
•
연속형 자료 numerical data = 양적자료(quantitative data)
•
크기가 있는 숫자들로 구성된 자료
변수 개수에 따른 분류
단일 변수 자료 unvariate data
•
하나의 변수로만 구성된 자료
•
일변량 자료라고도 부른다.
•
벡터에 저장하여 분석
다중변수 자료 multivariate data
•
두 개 이상의 변수로 구성된 자료
•
이변량 bivariate data라고 한다.
•
매트릭스 또는 데이터프레임에 저장하여 분석
Subscribe to 'Yerim-DevNote'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'Yerim-DevNote'!
Join Slashpage and subscribe to 'Yerim-DevNote'!
Subscribe
