网页抓取

网页抓取是从网页中自动提取数据的过程。抓取程序下载页面，解析 HTML 或渲染后的 DOM，提取商品名称、价格、日期或联系方式等特定字段，再以 CSV 或 JSON 等结构化格式保存。

简单的抓取程序用 HTTP 库获取 HTML，再用选择器解析。用 JavaScript 生成内容的网站需要先用无头浏览器渲染页面，例如由 Playwright 或 Puppeteer 控制的浏览器。如果数据只以图片形式存在，有些抓取程序会截图并运行 OCR。抓取是否被允许，取决于网站条款、著作权、数据库权利和个人数据相关法律，这些规定因国家而异。本词条仅为一般信息，不构成法律意见。

抓取、爬取与截图

	输出	目的
爬取	网址列表	发现页面
抓取	结构化数据	提取字段
截图	图像	记录页面外观

截图保留了布局和样式等视觉上下文，而这些信息在抓取的数据中会丢失。

网页抓取的使用场景

• 价格和库存监控。
• 基于公开页面构建研究数据集。
• 汇总职位或活动等信息列表。
• 从旧网站迁移内容。

网页抓取的工作原理

1. 从列表或爬虫获取网址。
2. 获取每个页面，必要时渲染 JavaScript。
3. 用 CSS 选择器或 XPath 选取元素。
4. 清洗并校验数据。
5. 保存结果，并安排定期重复运行。

常见错误

• 无视服务条款、robots.txt 或可用的 API。
• 在没有合法依据的情况下收集个人数据。
• 请求发送过快而被封禁。
• 选择器写得过于脆弱，布局一变就失效。

总在重复截取同样的页面？

如果目标是视觉记录而不是数据字段，Temposhot 的 Website Capture 可以在 Mac 上保存一组网址的页面图像，并默认开启 Block ads 和 Block trackers。请参阅网页截图自动化。

常见问题

网页抓取合法吗？

这取决于网站、数据和司法管辖区。公开页面并不意味着可以随意再利用。

可以从截图中提取文字吗？

可以，使用 OCR 即可。Extract Text from Image 可以在浏览器中读取图片中的文字。

参考资料

• 维基百科：网页抓取
• RFC 9309：Robots 排除协议

相关资源

• Website Capture 快速入门：根据列表截取页面图像。
• 从图片中提取文字：对单张图片进行 OCR。
• 截图转可搜索 PDF：建立可搜索的截图存档。