robobrowser的简单使用

robobrowser简单介绍：

简单来说，robobrowser是一个轻量级的浏览器，自动测试库，和selenium类似，但运行比selenium更为隐蔽，因为它不会打开浏览器页面。RoboBrowser，Your friendly neighborhood web scraper！由纯 Python 编写;
项目地址：打开

安装

推荐使用pip方式安装，简单！
robobrowser库依赖其他库，bs4，lxml，所以两个库都要安装；
打开命令行窗口，输入代码：

pip install lxml
pip install bs4
pip install robobrowser

等待安装成功；

验证一下：
打开命令行窗口，输入python进行解释器窗口；
输入代码：import robobrowser

如果提示以下错误

File “D:\python3.8\lib\site-packages\robobrowser\browser.py”, line 8, in <module>
from werkzeug import cached_property
ImportError: cannot import name ‘cached_property’ from ‘werkzeug’ (D:\python3.8\lib\site-packages\werkzeug_init_.py)

需要打开文件：
D:\python3.8\lib\site-packages\werkzeug_init_.py
输入from werkzeug.utils import cached_property即可修复

from .serving import run_simple as run_simplefrom .test import Client as Clientfrom .wrappers import Request as Requestfrom .wrappers import Response as Response#显示引入from werkzeug.utils import cached_property # 这是引入的包 __version__ = "2.1.2"

简单使用；

模拟百度搜索，提交表单：

home_url = 'http://www.baidu.com' #  parser: 解析器，HTML parser; used by BeautifulSoup#  官方推荐：lxmlrb = RoboBrowser(history=True, parser='lxml') # 打开目标网站rb.open(home_url)#print(rb.parsed())# 获取表单对象bd_form = rb.get_form()print(bd_form)bd_form['wd'].value = "robobrowser"# 提交表单，模拟一次搜索rb.submit_form(bd_form)#print(rb.parsed())sleep(1)# 查看结果result_elements = rb.select(".result")print(result_elements)

以上获取到的结果，可以使用

from bs4 import BeautifulSoup

进行解析；
如获取标题，链接等；
for index, element in enumerate(result_elements):
title = element.find(“a”).text
href = element.find(“a”)[‘href’]

其他操作

跳转链接rb.follow_link(first_href)获取历史print(rb.url)

更多的操作，可以参考官方文档；