当前位置:网站首页>Python爬蟲實戰詳解:爬取圖片之家
Python爬蟲實戰詳解:爬取圖片之家
2020-11-06 01:17:00 【itread01】
前言
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理
如何使用python去實現一個爬蟲?
- 模擬瀏覽器
請求並獲取網站資料
在原始資料中提取我們想要的資料 資料篩選
將篩選完成的資料做儲存
完成一個爬蟲需要哪些工具
- Python3.6
- pycharm 專業版
目標網站
圖片之家
https://www.tupianzj.com/
爬蟲程式碼
匯入工具
python 自帶的標準庫
import ssl
系統庫 自動建立儲存資料夾
import os
下載包
import urllib.request
網路庫 第三方包
import requests
網頁選擇器
from bs4 import BeautifulSoup
預設請求https網站不需要證書認證
ssl._create_default_https_context = ssl._create_unverified_context
模擬瀏覽器
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36', }
自動建立資料夾
if not os.path.exists('./插畫素材/'): os.mkdir('./插畫素材/') else: pass
請求操作
url = 'https://www.tupianzj.com/meinv/mm/meizitu/' html = requests.get(url, headers=headers).text
對頁面原始資料做資料提取
soup = BeautifulSoup(html, 'lxml') images_data = soup.find('ul', class_='d1 ico3').find_all_next('li') for image in images_data: image_url = image.find_all('img') for _ in image_url: print(_['src'], _['alt'])
下載
try: urllib.request.urlretrieve(_['src'], './插畫素材/' + _['alt'] + '.jpg') except: pass
效果圖
版权声明
本文为[itread01]所创,转载请带上原文链接,感谢
https://www.itread01.com/content/1604499424.html
边栏推荐
- Introduction to Google software testing
- 企业数据库的选择通常由系统架构师主导决策 - thenewstack
- 幽默:黑客式编程其实类似机器学习!
- DeepWalk模型的简介与优缺点
- 写一个通用的幂等组件,我觉得很有必要
- Network programming NiO: Bio and NiO
- GBDT与xgb区别,以及梯度下降法和牛顿法的数学推导
- 免费的专利下载教程(知网、espacenet强强联合)
- 6.8 multipartresolver file upload parser (in-depth analysis of SSM and project practice)
- 6.9.1 flashmapmanager initialization (flashmapmanager redirection Management) - SSM in depth analysis and project practice
猜你喜欢
随机推荐
用Python构建和可视化决策树
遞迴思想的巧妙理解
技術總監,送給剛畢業的程式設計師們一句話——做好小事,才能成就大事
【新閣教育】窮學上位機系列——搭建STEP7模擬環境
事半功倍:在没有机柜的情况下实现自动化
如果前端不使用SPA又能怎样?- Hacker News
給萌新HTML5 入門指南(二)
Jmeter——ForEach Controller&Loop Controller
JetCache埋点的骚操作,不服不行啊
分布式ID生成服务,真的有必要搞一个
3分钟读懂Wi-Fi 6于Wi-Fi 5的优势
Top 10 best big data analysis tools in 2020
10 easy to use automated testing tools
微服務 - 如何解決鏈路追蹤問題
7.2.2 compressing static resources through gzipresourceresolver
7.3.2 File Download & big file download
Azure Data Factory(三)整合 Azure Devops 實現CI/CD
Microservices: how to solve the problem of link tracing
Asp.Net Core學習筆記:入門篇
从零学习人工智能,开启职业规划之路!