scrapy爬虫框架的使用

首先咱们先下载scrapy包

 选择Terminal,创建scrapy项目（scrapy startproject  项目名字）

 这时候项目创建好了，我们需要修改settings.py文件

20行，ROBOTSTXT_OBEY = False

把65到67的注释取消（原本它是被注释的）

 把40到43的注释取消（原本它是被注释的），并在里面添加请求头，

 

 进入spiders目录创建爬虫文件

scrapy genspider 爬虫文件名 域名

咱们爬取课程名称和学习人数

 

 修改start_urls为所要爬取的地址

全选复制，粘贴

 

找到要爬取所有信息的父标签，并且父标签是唯一的(可以右键，查看网页源代码，Ctrl+f搜索该标签属性是否只有一个)

 

 通过分析，我们所要爬取的信息在ul的li里面

 

我们利用Xpath获取所有的li标签

 遍历il,定位要爬取的内容