squid代理服务+ip代理池

分两个服务：

一个是提供所有ip和随机ip，删除那些维护ip池功能的api服务。

参考：先搭建好代理池用http提供接口
http://www.spiderpy.cn/blog/detail/13
https://xz.aliyun.com/t/7718
https://github.com/jhao104/proxy_pool

一个是隧道ip池，写代码时就可以固定一个隧道ip代理。
参考：

然后通过squid来提供代理ip转发切换功能
https://blog.csdn.net/aaronjny/article/details/87865942
https://www.jianshu.com/p/130083146c8f
https://github.com/AaronJny/open_proxy_pool
如果systemctl start squid.service启动服务失败，用squid -k parse检查配置格式等问题，即使报ERROR: Ignoring unknown cache_peer option其实也是可以正常启动的
启动服务出现：Failed to make swap directory /var/spool/squid，就修改权限chown squid:squid /var/spool/squid
请求返回：ERROR:The requested URL could not be retrieved，可能是squid.conf里代理ip没配置好或无效
查看systemctl status squid.service启动情况，如果出现FATAL: ERROR: cache_peer 1.1.1.1 specified twice是配置多个代理条目，相同ip不同port报错，在cache_peer最后加上 name=proxy-90随机。参考https://www.cnblogs.com/my8100/p/7441501.html
 

https://xnathan.com/2017/03/02/squid-proxy-pool/
搭建ip池，使用 Squid 提供的父代理功能，自动将爬虫服务器的请求转发给代理服务器。Squid提供了自动轮询功能，自动验证并剔除不可用的代理。减少了我们多余的验证步骤。

请求获取代理，然后直接写入squid配置：https://github.com/xNathan/squid_proxy_pool

实测做的是，直接拿redis里ip配置到squid，使用的是这个项目：https://github.com/AaronJny/open_proxy_pool
 

Squid 就会自动检测每个代理的有效性
http://blog.itpub.net/31557738/viewspace-2679380/
squid做访问控制，就是一个ip均衡使用？

nginx也可以实现同样功能？