前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >02_输入检索词自动爬取百度搜索页标题信

02_输入检索词自动爬取百度搜索页标题信

作者头像
py3study
发布2020-01-17 14:40:05
4510
发布2020-01-17 14:40:05
举报
文章被收录于专栏:python3
代码语言:javascript
复制
背景:
在百度每次输入关键词检索后,会出现很多的检索页,不利于有效阅读,
为更方便收集检索信息,编写了一个可以收集每个检索页与检索词相关的十条检索信息(百度在每个检索页放置十条检索标题信息)。
可以根据需要选择爬取多少检索页,通过修改main()函数的depth变量

 1 import urllib.request
 2 import re
 3 
 4 def get_html_text(url,data_lst,depth):
 5  
 7     for i in range(depth):
 8         
 9         # 根据分析构造网址
10         url_kw = url + '&pn=' + str(i*10) #切记:这里不能使用'i*10'来表示,如果那样的话将无法将i通过for循环传递参数。
11         
12         # 获取每页的网页数据
13         data = urllib.request.urlopen(url_kw).read().decode('utf-8', 'ignore')
14         
15         # 测试代码:print(len(data))
16         print('正在爬取第',str(i+1),'页网页信息')
17         
18         # 构造正则表达式,提取目标信息
19         html_title_pat = '"title":"(.*?)"'
20         title_info = re.compile(html_title_pat, re.S).findall(data)
21         # 测试代码:print(len(title_info))
22         for i in range(0,len(title_info)):
23             print('第'+str(i+1) + '条网页标题:' + str(title_info[i]))
24             print('-'*20)
25             data_lst.append(title_info[i])
26 
27         
28 def main():
29     keyword = input('请输入要检索的关键词:')
30     
31     # #对关键词进行编码,因为URL中需要对中文等进行处理.
32     # 我们平时输入网址的时候有汉字是因为搜索框会自动解析汉字,但是python不会,所以我们需要对关键词进行编码。
33     key_code = urllib.request.quote(keyword) # 对关键词编码
34     
35     url = 'http://www.baidu.com/s?&ie=utf-8&wd='+ key_code
36     depth = 5 # 爬取网页的深度,可以自行设置
37     data_lst = list()
38     get_html_text(url,data_lst,depth)
39   
    # 保存到本地路径
40     with open('baidu_keyword.txt', 'a', encoding='utf-8') as f:
41         data_raw = [str(i) for i in data_lst] #使用列表推导式保证列表内的每个元素都是字符串,因为文件写入时要求每个元素都是字符串格式。
42         #data_content = ' '.join(data_raw)
43         for i in data_raw:
44             f.write(i+'\n') #‘\n’写入一条信息就进行换行,使爬取的数据规整
45 
46 
47 if __name__ == '__main__':
48     main()
代码语言:javascript
复制
请输入要检索的关键词:清华大学
检索的文本信息截取
- 职业圈清华大学
清华大学信息门户系统
清华大学本科招生网
清华大学研究生招生网
清华大学百年校庆_百度百科
清华大学 - Tsinghua University
清华大学学生职业发展指导中心
清华校友网 
清华大学学生职业发展指导中心
清华大学地球系统科学系-首页
清华大学新闻网 - 清华人物
Tsinghua University
清华大学法学院
清华大学教育研究院
清华大学环境学院
清华大学
清华大学_清华大学录取分数线,专业介绍,图片_新浪院校库_新浪教育
清华大学bbs 水木社区-源于清华的高知社群
北京清华大学攻略,清华大学门票_地址,清华大学游览攻略 - 马蜂窝
清华大学吧-百度贴吧 
供应室平台_助力科研,让世界更美好 
【清华大学】清华大学招聘|待遇|面试|怎么样-看准网
清华大学开源软件镜像站 | Tsinghua Open Source Mirror
清华大学精密仪器系 - 首页 
清华大学科技园
浙江清华长三角研究院
清华大学精密仪器系 - 首页 
清华x-lab - 清华大学创意创新创业教育平台
清华大学经济管理学院
清华大学建筑学院景观学系
清华大学简介_清华大学介绍 
深圳清华大学研究院
2019北京清华大学校园概况-清华大学自助游-清华大学门票交通天气...
清华大学量子信息中心
清华大学历史研究所
清华大学
2018清华大学录取分数线_清华大学各省高考分数线_高考院校库
北京清华大学攻略,北京清华大学门票/游玩攻略/地址/图片/门..._携程
★清华大学校园招聘-2018年清华大学校园招聘会
清华大学专升本 - 育鹏专升本教育信息网
清华大学门票,清华大学门票价格,清华大学门票团购【携程门票】
清华大学卡内基全球政策中心
清华大学历史研究所
清华大学在职研究生_中国在职研究生招生信息网
清华大学量子信息中心
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/05/12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档