网络爬虫

网络爬虫（也称 spider 或 bot）是一种通过跟随链接来发现网页的程序。它从一组种子网址出发，下载每个页面，提取其中包含的链接，并把新网址加入队列。不断重复这一过程，就能构建出一个网站乃至更大范围网络的地图。

最知名的爬虫由搜索引擎运行，用于为网页建立索引。其他爬虫则用于检查网站的失效链接、建立存档、进行 SEO 审计，或收集网址列表供后续处理。遵守规范的爬虫会通过 user agent 字符串表明身份，遵循以 RFC 9309 发布、写在 robots.txt 中的 Robots 排除协议，并限制请求页面的频率。

网络爬虫的工作原理

1. 从种子网址或站点地图开始。
2. 检查 robots.txt 中适用于该爬虫的规则。
3. 获取页面，记录其状态和内容。
4. 提取链接并进行规范化，跳过已访问过的链接。
5. 把新网址加入队列，持续运行直到达到上限。

对于用 JavaScript 生成内容的现代网站，可能需要先用无头浏览器渲染页面，链接才会出现。

爬取与抓取

爬取负责发现页面，抓取负责从页面中提取特定数据，例如价格或标题。爬虫常常为抓取程序提供输入，但两者也可以独立运行：抓取程序可以只处理一份固定的网址列表，而不做任何链接发现。

网络爬虫的使用场景

• 搜索引擎索引。
• 网站审计，检查失效链接、重定向和缺失的元数据。
• 长期保存网页的网络存档。
• 为截图或内容审核建立网址列表。

常见错误

• 无视 robots.txt 和网站条款。
• 请求过快，导致服务器过载。
• 无休止地跟随网址参数，例如日历和筛选条件。
• 未经许可爬取需要登录的页面。

总在重复截取同样的页面？

Temposhot 不会爬取网站。Website Capture 截取你输入的网址，Bulk insert 可以接收从爬虫或站点地图导出的列表。请参阅网页截图自动化。

常见问题

网络爬虫合法吗？

这取决于网站条款、涉及的数据以及当地法律。请遵守 robots.txt 和网站条款，商业用途请咨询专业意见。

什么是站点地图？

一种列出网站所有网址的 XML 文件，爬虫会以它作为起点。

参考资料

• RFC 9309：Robots 排除协议
• 维基百科：网络爬虫

相关资源

• Website Capture 快速入门：添加网址并开始截取。
• 运行与结果：行状态和重试。
• Website Capture 选项：等待和拦截设置。