网络爬虫

目录

爬虫是什么

爬虫的作用

爬虫的分类

爬虫的流程

---

爬虫是什么

爬虫又可以叫做网页蜘蛛，网页机器人。可以模拟客户端，发送网页请求，接收请求响应。是一种按照一定的规则，自动的抓取互联网信息的程序。

爬虫的作用

• 数据采集
• 软件测试
• 网络安全
• 网络的投票等

爬虫的分类

• 通用爬虫
  • 常见的搜索引擎则就是通用爬虫
• 聚焦爬虫
  • 用来专门的抓取某一个（某一类）网址的数据

根据是否以获取数据为目的，可以分为：

• 功能性爬虫

• 数据增量爬虫

根据url地址何对应的页面内容是否改变，数据增量爬虫可以分为:

• 基于url地址变化，内容也会随之变化的数据增量爬虫

  • 新数据

• url地址不变，内容变化的数据增量爬虫

  • 数据部分变化

爬虫的流程

• 获取一个url

• 向url发送请求，并获取响应(需要http协议)

• 如果从响应中提取url，则继续发送请求获取响应

• 如果从响应中提取数据，则将数据进行保存