躲避雪糕刺客？通过爬虫爬取雪糕价格

需求分析

夏天天气实在是太热了，热的让人不想动，只有一直呆在空调房里，才能带来一点点安慰。当然，也少不了吃雪糕

不过，现在的雪糕的价格也不便宜，比如说某爱多巧克力雪糕零售已经卖到5块钱了，我怎么记得以前才3块呢，总之呢，这个价格有点小贵。然而没想到的是，今天有一个小伙伴突然和我说，“，今天我上当了，我在便利店拿了一支中雪糕，没想到，居然要收我16块钱！我被雪糕刺客袭击了！”

中雪糕？16块钱？哦天啊，我问他，“那这个这么贵，你怎么不放回去呢？这都可以吃3个多的某爱多了啊？“

小伙伴很无奈，”拿都拿了，已经要结账了，我不好意思放回去啊……”

唉，这恐怕就是死要面死活受罪吧，怎么办呢？有没有办法帮帮小伙伴，避免下次再拿到高价雪糕了呢？当然，已经有很多大佬做了秘籍，比如说进口的雪糕比较贵，带有某种巧克力的雪糕比较贵等等，不过这些规则太复杂了，不够直接，我们应该采取一个更快的办法，直接把雪糕的价格爬取下来，这样就能看出哪种雪糕的价格比较贵了

实现分析

这个需求不是很困难，就是爬取雪糕价格嘛，只要找到一家商店，然后将雪糕的名字和价格保存下来就可以了。我也是很容易就找到了一个目标，并且通过requests发送了请求

不出意外的话是又出意外了，那就是，怎么在请求里没有看到数据呢？就像这样

可以看出，这个金钱符号的后边，应该就是价格了，可是这里却看不到价格，这可真是奇了怪了，价格哪里去了呢？明明在页面上有价格，怎么到了我们的requests里就没有价格了呢？这到底是怎么一回事呢？

好吧，那就只能找一找了，其实呢也不困难，如果我没猜错的话，我想我已经找到价格了

可以看出，价格就在这个请求里，上边有一个p就是价格，应该是price之类的吧，那这是什么呢？这是一个jquery文件，也就是说，雪糕的价格在页面里是通过jquery写进去的。在requests发送的基本请求中是看不到的

好吧，那就基本上确定了，不用想，今天又是得用selenium了。可能会有小伙伴非常不理解，不就是一个jquery文件吗，我们把这个文件爬取下来，然后解析不就行了吗，为什么非得用selenium呢？

这样想是没错，不过想根据页面确定对应的jquery文件，期间可能还需要经过一次加密参数的检验，想想也知道在这上面和它耗太费时间。如果没有什么特殊的需求的话，肯定是直接用selenium了，使用方法也很简单，打开一个浏览器，然后获取页面，通过driver.page_source获取页面的代码，就可以当作正常的requests请求获取到的响应使用了

完整代码演示

from selenium import webdriver
from lxml import etree
from base64 import b64decode

url = b64decode("aHR0cHM6Ly93d3cuamQuY29tL3BoYi8xMjIxODU1MTY0MzIxMmY1MDE5NTkuaHRtbA==").decode()

driver = webdriver.Chrome()

driver.get(url)

html = etree.HTML(driver.page_source)

driver.quit()

i_name = html.xpath("//div[@class='detail']/a/text()")
i_price = html.xpath("//span[@class='price-rmb']/text()")
i_comment = html.xpath("//div[@class='evaluate-detail']/a/text()")

text = ""

for i in range(len(i_name)):
	text += "名称：" + i_name[i] + "
"
	text += "价格：" + i_price[i] + "元
"
	text += "热评：" + i_comment[i] + "

"

print(text)

程序的运行结果如下所示

---

总的来说，如果你遇到了一个需要动态渲染的页面，或者说是需要执行js的页面，如果没有特殊的需求的话，比如说需要执行速度快，或者你愿意付出很高的成本去升级程序，否则的话，建议还是直接使用动态渲染的应用会比较好，例如selenium的使用

另外，还可以看出这个程序由于选择的页面一般，所以并不能够直接算出雪糕的单价，因为很难提取出雪糕的数量，如果要解决这一问题，最好换一个更好一些的商品页面