웹 스크래핑

웹 스크래핑은 웹 페이지에서 데이터를 자동으로 추출하는 작업입니다. 스크레이퍼는 페이지를 내려받고, HTML 또는 렌더링된 DOM을 파싱한 뒤, 제품명, 가격, 날짜, 연락처 같은 특정 필드를 추출합니다. 추출한 값은 CSV나 JSON 같은 구조화된 형식으로 저장합니다.

단순한 스크레이퍼는 HTTP 라이브러리로 HTML을 가져온 뒤 선택자(selector)로 파싱합니다. JavaScript로 콘텐츠를 만드는 사이트는 먼저 페이지를 렌더링해야 하므로 Playwright나 Puppeteer로 제어하는 헤드리스 브라우저가 필요합니다. 데이터가 이미지로만 존재하면 일부 스크레이퍼는 스크린샷을 캡처하고 OCR을 실행합니다.

스크래핑의 허용 여부는 사이트 이용 약관, 저작권, 데이터베이스 권리, 개인정보 관련 법률에 따라 달라지며, 이 기준은 국가마다 다릅니다. 이 항목은 일반 정보이며 법률 자문이 아닙니다.

스크래핑, 크롤링, 스크린샷 캡처 비교

	출력	목적
크롤링	URL 목록	페이지 탐색
스크래핑	구조화된 데이터	필드 추출
스크린샷 캡처	이미지	페이지 모습 기록

스크린샷에는 스크래핑한 데이터에서 사라지는 레이아웃과 스타일 같은 시각적 맥락이 남습니다.

웹 스크래핑의 사용 분야

• 가격과 재고를 모니터링함.
• 공개 페이지에서 연구용 데이터셋을 만듦.
• 채용 공고나 행사 같은 목록을 한데 모음.
• 오래된 사이트의 콘텐츠를 새 사이트로 옮김.

웹 스크래핑의 동작 방식

1. URL을 목록이나 크롤러에서 가져옴.
2. 각 페이지를 가져오며, 필요하면 JavaScript를 렌더링함.
3. CSS 선택자 또는 XPath로 요소를 선택함.
4. 값을 정제하고 검증함.
5. 결과를 저장하고 반복 실행을 예약함.

흔한 실수

• 이용 약관, robots.txt, API 대안을 확인하지 않음.
• 적법한 근거 없이 개인정보를 수집함.
• 요청을 너무 빨리 보내 차단당함.
• 레이아웃이 바뀌면 깨지는 취약한 선택자를 작성함.

같은 스크린샷을 반복해서 찍고 있나요?

데이터 필드가 아니라 시각적 기록이 목적이라면 Temposhot의 Website Capture가 URL 목록의 이미지를 Mac에 저장합니다. 기본값으로 Block ads와 Block trackers가 켜져 있습니다. 자세한 내용은 웹사이트 스크린샷 자동화를 참고합니다.

자주 묻는 질문

웹 스크래핑은 합법인가요?

사이트, 데이터, 관할 지역에 따라 다릅니다. 공개된 페이지라고 해서 자동으로 재사용이 허용되지는 않습니다.

스크린샷에서 텍스트를 추출할 수 있나요?

OCR로 가능합니다. Extract Text from Image가 브라우저에서 이미지의 텍스트를 읽습니다.

출처

• Wikipedia: Web scraping (영문)
• RFC 9309: 로봇 배제 프로토콜(Robots Exclusion Protocol)

관련 자료

• Website Capture 빠른 시작: URL 목록에서 페이지 이미지를 캡처하는 방법.
• 이미지에서 텍스트 추출: 이미지 한 장을 대상으로 하는 OCR.
• 스크린샷을 검색 가능한 PDF로 변환: 캡처 파일을 검색 가능한 보관본으로 만듦.