# 3.1-1. 웹 크롤링 vs. 웹 스크래핑

웹 크롤링과 웹 스크래핑은 웹에서 데이터를 수집하는 대표적인 두 방법임

### 개념 차이

- 웹 크롤링: 여러 웹 페이지의 링크를 따라가며 대규모 데이터, 구조, URL 등을 자동 탐색·수집함.

- 웹 스크래핑: 특정 웹 페이지에서 원하는 데이터만 정밀하게 추출함. 상품명, 가격, 뉴스 제목 등 실질적 정보에 초점 맞춤.

### 웹 크롤링 (Web Crawling)

- **정의:** 크롤러(소프트웨어)가 여러 웹 페이지의 링크를 따라다니며 기계적으로 정보를 수집하는 방식

- **목적:** 대규모 데이터 수집

- **특징:** 광범위한 정보 수집에 적합하나, 불필요한 정보가 포함될 수 있어 데이터 정제 과정이 필요할 수 있음

- 활용: 검색 엔진 색인, 뉴스/블로그 전체 수집 등에 사용함. 데이터의 범위·확장성 강점 있음.

### 웹 스크래핑 (Web Scraping)

- **정의:** 웹 페이지에서 특정 정보를 추출하여 구조화된 데이터로 변환하는 기술

- **목적:** 단일 페이지 내의 원하는 데이터(예: 상품명, 가격)를 추출하여 분석 및 활용

- **특징:** 특정 정보의 정제 및 수집에 중점을 둠

- 활용: 상품 가격 분석, 특정 콘텐츠 실시간 추출 등에 사용함. 목적성, 정확성에서 강점 있음.

---

### 차이점 요약

- **웹 스크래핑:** **'추출(Extraction)'**에 초점. 특정 페이지에서 원하는 정보만 정밀하게 수집.

- **웹 크롤링:** **'탐색(Exploration)'**에 초점. 여러 페이지를 순회하며 광범위하게 정보를 수집.

![Image](https://upload.cafenono.com/image/slashpageHome/20251013/001025_vsEDReOx92ncNeu8jy?q=80&s=1280x180&t=outside&f=webp)

### 요약

- 크롤링은 '정보탐색자', 스크래핑은 '정밀수집자'로 비유 가능함.

- 두 방식은 목적과 작업 방식, 대상 범위에서 명확한 차이 있으나,

- 구분없이 사용되는 경우가 많음

---

### 주의 사항

- **준수 의무:** 대상 웹 사이트의 이용 약관을 반드시 준수해야 함.

- **법적 책임:** 무단으로 데이터를 수집할 경우 법적 문제가 발생할 수 있음.

- **핵심 원칙:** 허용된 범위 내에서만 데이터를 수집하고 사용해야 함.

---

---

## Listly

- 클릭 한 번으로 웹 데이터를 엑셀이나 구글 시트로 변환해주는 웹 스크래핑 도구

- 핵심 특징

    - 코딩 없이 크롬 확장 프로그램으로 데이터 추출 가능함.​

    - 단일 페이지, 여러 탭, 그룹 URL 등 다양한 방식으로 데이터 수집 지원함.​

    - 무료 플랜 제공(월 10회 추출 가능), 유료 플랜은 무제한 및 자동화 기능 포함함.​

[Listly - From Web to Data, Instantly](https://www.listly.io/)

- Listly 회원가입
- 

- Listly 크롬 익스텐션 설치
- [https://chromewebstore.google.com/](https://chromewebstore.google.com/) 
- 
- 

![Image](https://upload.cafenono.com/image/slashpageHome/20251024/121325_ZzIN7Sa69xCIJEiJGt?q=80&s=1280x180&t=outside&f=webp)

- 네이버 쇼핑 > "멜라토닌" 검색

- 결과 페이지에서 'Listly' 익스텐션 버튼 클릭

- 결과 확인 및 엑셀로 담기

For the site tree, see the [root Markdown](https://slashpage.com/lion.md).