小白学爬虫——爬虫入门

前言

之前对爬虫也只是知道大概是干什么，但是真正如何去做，却真的没有接触过。学习爬虫技术，我面临两大难题，一个就是python语言，一个就是爬虫框架。这些知识将再以后的博文中涉猎，此篇主要是介绍一个网络爬虫的知识。

内容

1.学习爬虫有哪些意义？

• 学习爬虫，私人定制一个搜索引擎，并且可以根据搜索引擎的数据采集工作原理有更深层次的理解。
• 大数据时代，要进行数据分析，就需要有数据源，学习爬虫，可以获取更多的数据源。

2.网络爬虫有哪几种分类？

• 通用网络爬虫——爬取资源在全网
• 聚焦网络爬虫——按照预先设定的主题有选择的进行爬取
• 增量式网络爬虫——在更新的时候只更新改变的地方，而未改变的地方则不更新
• 深层网络爬虫

3.爬取网页有哪些爬虫策略？

• 深度优先爬行策略
• 广度优先爬行策略
• 大战优先爬虫策略——根据网页所属的站点归类，网站的网页数量越多，该网站称为大战
• 反链策略——反向链接数，指的是网页被其他网页指向的次数，这个次数一定程度上代表这该网页被其他网页推荐的次数。反链次数越多，哪个网页被优先爬取。
• 自定义爬行策略

4.网页更新的策略？

• 用户体验策略
• 历史数据策略
• 聚类分析策略

5.网页分析算法？

• 基于用户行为的网页分析算法
• 基于网络拓扑的网页分析算法
• 基于网页内容的网页分析算法

总结

上面总计的几点知识看起来非常的零散，其实他们之间是有关联的，在爬取网页的时候，需要确定什么类型的爬中，是聚焦还是全网爬虫，需要确定采用什么策略爬取，爬取到网页后如何分析。以及最后考虑网页如何进行更新。这是我理解的他们之间的关系，如果你有什么更好建议欢迎留言！