爬一个网页的所有导师信息

找老师，都不愿意要半脱产的，唉，难道我又得筛一遍导师的方向吗……

索性你无情我也不倾注什么感情了，python走起 

计算器加了一下右边的人数，总共309，我以达成目标为主导，不需求代码全部搞定，于是我先爬一下所有带人名的链接

看到有标签，但是需要什么xpath，索性我用最省事的正则框选出来

# -*- coding: utf-8 -*-

import os
import os.path
import requests
import re
import csv

URL="https://aipt.ucas.ac.cn/index.php/zh-cn/jsdw/graduateteacher"

res = requests.get(URL)
REX = "http://.*?\""

print(res)
ls = re.findall(REX, res.text)
#" target="_blank"

with open('res.csv', mode='a', newline='', encoding='utf-8-sig') as f:
    csv_writer = csv.writer(f, delimiter=',')
    csv_writer.writerow([ls])

 还行，执行完正好309个，后面的好像都是又重复了一遍，删掉

 对着刚存好的res.csv再故技重施地遍历一下，把存好的text内容对应地存进另一个res1.scv里，到时候用wps查找自己感兴趣的关键词找老师就行了。

（注意，把\n替换掉，这是个坑，不然text返回空，坑了我俩小时）

# -*- coding: utf-8 -*-

import os
import os.path
import requests
import re
import csv

lines=[]
with open('E:\\1projects\\PY\\PY\\res.csv','r') as f:
    lines=f.readlines()

for line in lines:
    str = line
    str = str.replace("\n","")    #替换掉\n
    print(str)
    res = requests.get(str)
    print(res)
    #print(res.text)
    with open('res1.csv', mode='a', newline='', encoding='utf-8-sig') as f:
        csv_writer = csv.writer(f, delimiter=',')
        csv_writer.writerow([line,res.text])
        print("done")

直接wps过滤筛选，再单独点进他的主页看