当前位置:网站首页>IP池设计思考(面试点)[通俗易懂]
IP池设计思考(面试点)[通俗易懂]
2022-07-30 10:30:00 【全栈程序员站长】
大家好,又见面了,我是你们的朋友全栈君。
IP池设计思考(面试点)
面试中IP代理池的几个问题:
- IP怎么剔除的 通过设置失败次数, 超过失败次数就会删除, 可以自定义失败次数.
- 免费代理多久抓取一次 10min抓取一次, 代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。
- 怎么接入自己的代理设置 在GetFreeProxy类中(该文件在ProxyGetter文件夹中), 添加自己的静态方法, 扩展自己的代理.扩展的IP可以是免费代理,也可以是购买的IP代理。
- 代理多久验证一次 每五分钟,ProxyValidSchedule.py文件中可以查看。每过5min就会检测现有的可用的代理的情况。将不符合的代理剔除掉。剔除的原理是一次检测不成功就会剔除,当然也可以设置10次,100次等。
- 新代理检测频率 每一分钟检测一次, 先将获取的代理保存在数据库里面名为raw_proxy, 然后将该代理每1min检测一次, 检测成功的放入userful_proxy, userfull_proxy是每5min检测一次.
- API接口怎么实现的 通过flask, 在本地实现的接口.将数据库里面的代理提取出来。
- get是随机获取一个IP
- delete是删除指定的IP
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/129461.html原文链接:https://javaforall.cn
边栏推荐
- OC-手动引用计数内存管理
- (C语言)文件操作
- Practical Walkthrough | Calculate Daily Average Date or Time Interval in MySQL
- [100个Solidity使用技巧]1、合约重入攻击
- 【云原生】-Docker安装部署分布式数据库 OceanBase
- 梅科尔工作室-看鸿蒙设备开发实战笔记四——内核开发
- Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
- 【AGC】增长服务2-应用内消息示例
- 多线程保证单个线程开启事务并生效的方案
- ospf2 two-point two-way republish (question 2)
猜你喜欢

自适应控制——仿真实验一 用李雅普诺夫稳定性理论设计自适应规律

多线程--线程和线程池的用法

梅科尔工作室-看鸿蒙设备开发实战笔记七——网络应用开发

类和对象—6个默认成员函数

spark udf accepts and handles null values.

Online target drone prompt.ml
Container Technology - A Simple Understanding of Kubernetes Objects

PyQt5 - Drawing different types of straight lines

Day113. Shangyitong: WeChat login QR code, login callback interface

flowable workflow all business concepts
随机推荐
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
Basemap和Seaborn
4、yolov5-6.0 ERROR: AttributeError: ‘Upsample‘ object has no attribute ‘recompute_scale_factor‘ 解决方案
(BUG record) No module named PIL
鸿湖万联扬帆富设备开发板正式合入OpenHarmony主干
jmeter接口压力测试(一)
[100个Solidity使用技巧]1、合约重入攻击
Multithreading--the usage of threads and thread pools
mysql与redis 区别
Mysterious APT Attack
关于verilog的时延研究
电压跟随器不要随便加
Oracle中SQL语言和分页rownum分析
【云原生】-Docker安装部署分布式数据库 OceanBase
Selected System Design | Design of CAN Bus Controller Based on FPGA (with Code)
MFCC to audio, the effect should not be too funny >V
WARN: Establishing SSL connection without server's identity verification is not recommended when connecting to mysql
OC- about alloc and dealloc (haven't started writing yet)
Flask's routing (app.route) detailed
log4js入门