此页面由社区从英文翻译而来。了解更多并加入 MDN Web Docs 社区。

View in English Always switch to English

Web 爬虫

Web 爬虫是一种能有条理并且系统化地浏览 Web 以收集网页数据的程序(通常也被称作“机器人”)。Web 爬虫最典型的使用案例是搜索引擎(例如谷歌,必应)使用爬虫来创建索引。

参见