反爬虫策略（ip代理、设置随机休眠时间、哔哩哔哩视频信息爬取、真实URL的获取、特殊字符的处理、时间戳的处理、多线程处理）

常见的反爬虫策略

1.通过Headers反爬虫

• 通过识别用户请求的Headers来反爬虫是网站最常用的反爬虫策略。很多网站都会对HTTP请求头部的User-Agent进行检测（判断是否为浏览器访问）；有一部分网站会对Refer进行检测（一些资源网站的防盗链接）；还有一部分会对Cookie进行检测（需要登录才能获取更多数据）。

2.基于用户行为反爬虫

• 通过检测用户行为来判断请求是否来自爬虫程序也是一种常用的反爬虫策略。例如，同一IP地址短时间内多次访问，或者同一账户短时间内多次进行相同操作，都有可能使网站采取反爬虫措施。

3.采用动态加载数据反爬虫

• 有一些网站的网页是通过JavaScript动态生成的，无法直接爬取当前网页获取所需数据，这样对爬虫程序的直接爬取造成了一些困难。

应对反爬虫的措施

1.使用代理IP

• 针对网站检测IP访问的反爬虫策略，可以使用代理IP。代理IP是代理用户取得网络信息的IP地址，它可以帮助爬虫程序掩藏真实身份，突破IP访问的限制，隐藏爬虫程序的真实IP，从而避免被网站的反爬虫程序禁止。
• requests库实现使用代理IP非常方便，只需要构造一个代理IP的字典，然后在发送HTTP请求时，使用proxies参数添加代理IP的字典即可。如果需要使用多个代理IP，可将所有的代理IP字典构成列表，然后从列表中随机选择代理IP。