3.1-1. 웹 크롤링 vs. 웹 스크래핑
웹 크롤링과 웹 스크래핑은 웹에서 데이터를 수집하는 대표적인 두 방법임
개념 차이
•
웹 크롤링: 여러 웹 페이지의 링크를 따라가며 대규모 데이터, 구조, URL 등을 자동 탐색·수집함.
•
웹 스크래핑: 특정 웹 페이지에서 원하는 데이터만 정밀하게 추출함. 상품명, 가격, 뉴스 제목 등 실질적 정보에 초점 맞춤.
웹 크롤링 (Web Crawling)
•
정의: 크롤러(소프트웨어)가 여러 웹 페이지의 링크를 따라다니며 기계적으로 정보를 수집하는 방식
•
목적: 대규모 데이터 수집
•
특징: 광범위한 정보 수집에 적합하나, 불필요한 정보가 포함될 수 있어 데이터 정제 과정이 필요할 수 있음
•
활용: 검색 엔진 색인, 뉴스/블로그 전체 수집 등에 사용함. 데이터의 범위·확장성 강점 있음.
웹 스크래핑 (Web Scraping)
•
정의: 웹 페이지에서 특정 정보를 추출하여 구조화된 데이터로 변환하는 기술
•
목적: 단일 페이지 내의 원하는 데이터(예: 상품명, 가격)를 추출하여 분석 및 활용
•
특징: 특정 정보의 정제 및 수집에 중점을 둠
•
활용: 상품 가격 분석, 특정 콘텐츠 실시간 추출 등에 사용함. 목적성, 정확성에서 강점 있음.
차이점 요약
•
웹 스크래핑: **'추출(Extraction)'**에 초점. 특정 페이지에서 원하는 정보만 정밀하게 수집.
•
웹 크롤링: **'탐색(Exploration)'**에 초점. 여러 페이지를 순회하며 광범위하게 정보를 수집.
요약
•
크롤링은 '정보탐색자', 스크래핑은 '정밀수집자'로 비유 가능함.
•
두 방식은 목적과 작업 방식, 대상 범위에서 명확한 차이 있으나,
•
구분없이 사용되는 경우가 많음
주의 사항
•
준수 의무: 대상 웹 사이트의 이용 약관을 반드시 준수해야 함.
•
법적 책임: 무단으로 데이터를 수집할 경우 법적 문제가 발생할 수 있음.
•
핵심 원칙: 허용된 범위 내에서만 데이터를 수집하고 사용해야 함.
Listly
•
클릭 한 번으로 웹 데이터를 엑셀이나 구글 시트로 변환해주는 웹 스크래핑 도구
•
핵심 특징
◦
코딩 없이 크롬 확장 프로그램으로 데이터 추출 가능함.
◦
단일 페이지, 여러 탭, 그룹 URL 등 다양한 방식으로 데이터 수집 지원함.
◦
무료 플랜 제공(월 10회 추출 가능), 유료 플랜은 무제한 및 자동화 기능 포함함.
•
Listly 회원가입
•
•
네이버 쇼핑 > "멜라토닌" 검색
•
결과 페이지에서 'Listly' 익스텐션 버튼 클릭
•
결과 확인 및 엑셀로 담기
Contact : azureguy@empal.com / azureguy@cau.ac.kr