edu资产收集（主域名）
每日一说
- 早上被宿管敲门弄醒，说注意台风
- 中午想出去吃饭，结果赶上了核心机房网络设备电源硬件故障，健康码刷不出来，我门都出不去
- 下午手滑重装错机器的系统，导致几千条数据都没了
- 晚上打排位排到了一晚上的NT
- 11点多想继续部署环境的时候，手滑还把扫描器给删了
新的一天新的难过，昨天无敌倒霉，可能一年总有那么一天是这样的吧，所以，才，导致了这篇文章迟来了一天
（前排提醒：因为代码的关系，建议横屏阅读）
正文
首先这个脚本，是我队友 Rj45mp写的，因为不符合我的"风格"，所以我就拿来魔改了
文章链接：
https://rj45mp.github.io/python-crawler/
项目地址：
https://gitee.com/rj45mp/codes/tz1fc9kbhvrop7yw0e8lm51功能介绍
简单的介绍一下功能，其实就是 EduSrc这个平台上的，大学名字的爬取
爬取下来后，丢入bing搜索，然后通过获取搜索结果第一条，来获取学校主域名
接着写入数据库中，便于查询
魔改
但是他这里做的操作，是一步跑完，在进行下一步，而我更喜欢，跑一次，写一次数据，其次因为脚本方便性的缘故，我更偏向于写进txt里，因为这样前置工作不需要那么多
首先就是登录的部分，直接拿cookie即可
headers = {
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
"cookie":"此处填你登录edusrc后的cookie"
}接着给两个url，一个是bing，一个是edusrc的
url = 'https://src.sjtu.edu.cn/rank/firm/?page='
bing = 'https://cn.bing.com/search?q='爬取学校名字
def schoolname(url):
for i in range(1,187): # 页数,1-187页
pageurl=url+str(i)
req = requests.get(pageurl,headers=headers)
tree = etree.HTML(req.text)
res = tree.xpath('//td[@class="am-text-center"]/a/text()')
print("爬取 %s"%(res))
schoolsite(res)爬取完一次后，进行域名查询
def schoolsite(n):
global bing
for i in n:
bingurl=bing+i
req = requests.get(bingurl,headers=headers)
tree=etree.HTML(req.text)
res=tree.xpath('//div[@class="b_caption"]/div/cite/text()')
res1=school_domain(res)获取到查询结果后，进行主域名提取
def school_domain(url):
for i in url:
if "edu.cn" in i:
d=str(i.encode('utf-8'))
ul=re.search('[a-zA-Z0-9]+.(edu\.cn|com\.cn)',d)
print("域名："+i+" 提取结果为："+ul.group())
insertfile(ul.group())
break因为bing查询结果的关系，导致了脚本最后的结果有点奇怪，所以我加了一个if判断，判断域名中是否存在edu.cn
接着写入文件
def insertfile(elapse):
domain_file=open("sub_domain.txt","a")
domain_file.write(str(elapse)+"\n")
domain_file.close()一套流程就完毕了，全走完一遍后，开始第二页的爬取->搜索->提取->写入文件
有需要的自取
PS:我还写了去重的，想了想就不发出来了，懒得重新上传了，也懒得写这部分的东西
项目地址：
https://github.com/Ernket/edu-crawler本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-06-15，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录