当前位置:网站首页>IP池设计思考(面试点)[通俗易懂]
IP池设计思考(面试点)[通俗易懂]
2022-07-30 10:30:00 【全栈程序员站长】
大家好,又见面了,我是你们的朋友全栈君。
IP池设计思考(面试点)
面试中IP代理池的几个问题:
- IP怎么剔除的 通过设置失败次数, 超过失败次数就会删除, 可以自定义失败次数.
- 免费代理多久抓取一次 10min抓取一次, 代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。
- 怎么接入自己的代理设置 在GetFreeProxy类中(该文件在ProxyGetter文件夹中), 添加自己的静态方法, 扩展自己的代理.扩展的IP可以是免费代理,也可以是购买的IP代理。
- 代理多久验证一次 每五分钟,ProxyValidSchedule.py文件中可以查看。每过5min就会检测现有的可用的代理的情况。将不符合的代理剔除掉。剔除的原理是一次检测不成功就会剔除,当然也可以设置10次,100次等。
- 新代理检测频率 每一分钟检测一次, 先将获取的代理保存在数据库里面名为raw_proxy, 然后将该代理每1min检测一次, 检测成功的放入userful_proxy, userfull_proxy是每5min检测一次.
- API接口怎么实现的 通过flask, 在本地实现的接口.将数据库里面的代理提取出来。
- get是随机获取一个IP
- delete是删除指定的IP
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/129461.html原文链接:https://javaforall.cn
边栏推荐
- js对数组操作移动进行封装
- SST-Calib: A lidar-visual extrinsic parameter calibration method combining semantics and VO for spatiotemporal synchronization calibration (ITSC 2022)
- 【 HMS core 】 【 Analytics Kit] [FAQ] how to solve the payment amount in huawei pay analysis shows zero problem?
- 数据库事务,JDBC操作和数据类型
- 鸿湖万联扬帆富设备开发板正式合入OpenHarmony主干
- 【HMS core】【FAQ】HMS Toolkit典型问题合集1
- In 2022, the top will be accepted cca shut the list
- Drag and drop events, dataTransfer, getBoundingClientRect
- [AGC] Growth Service 2 - In-App Message Example
- Re16: Read the paper ILDC for CJPE: Indian Legal Documents Corpus for Court Judgment Prediction and Explanation
猜你喜欢

神经网络学习笔记3——LSTM长短期记忆网络

再有人问你分布式事务,把这篇扔给他

Neural Network Study Notes 3 - LSTM Long Short-Term Memory Network

Redis Desktop Manager 2022.4.2 发布

Neural Network Study Notes 4 - Autoencoder (including sparse, stacked) (updated)

Alibaba Cloud OSS Object Storage

Re17: Read the paper Challenges for Information Extraction from Dialogue in Criminal Law

Security思想项目总结

Detailed explanation of JVM memory layout, class loading mechanism and garbage collection mechanism

Classes and Objects - 6 Default Member Functions
随机推荐
OC-手动引用计数内存管理
The configuration process and related syntax of writing markdown format notes in vscode
MySQL | Subqueries
OC-ARC(Automatic Reference Counting)自动引用计数
Linux内核设计与实现(十)| 页高速缓存和页回写
OC-关于alloc和dealloc(还没开始写)
MySQL之数据库维护
梅科尔工作室-看鸿蒙设备开发实战笔记四——内核开发
OC- about alloc and dealloc (haven't started writing yet)
Telerik2022 R2,有效的自动化测试
In the robot industry professionals, Mr Robot industry current situation?
hcip06 ospf special area comprehensive experiment
死锁的理解
idea2021+Activiti [the most complete note one (basic use)]
wsl操作
现在报PMP还来得及参加9月的考试吗?分享敏捷全真模拟题
Soft Exam System Architect Concise Tutorial | Case Analysis | Requirement Analysis
paging
New in GNOME: Warn users when Secure Boot is disabled
Database dirty reads, non-repeatable reads, phantom reads and corresponding isolation levels