背景:
在百度每次输入关键词检索后,会出现很多的检索页,不利于有效阅读,
为更方便收集检索信息,编写了一个可以收集每个检索页与检索词相关的十条检索信息(百度在每个检索页放置十条检索标题信息)。
可以根据需要选择爬取多少检索页,通过修改main()函数的depth变量
1 import urllib.request
2 import re
3
4 def get_html_text(url,data_lst,depth):
5
7 for i in range(depth):
8
9 # 根据分析构造网址
10 url_kw = url + '&pn=' + str(i*10) #切记:这里不能使用'i*10'来表示,如果那样的话将无法将i通过for循环传递参数。
11
12 # 获取每页的网页数据
13 data = urllib.request.urlopen(url_kw).read().decode('utf-8', 'ignore')
14
15 # 测试代码:print(len(data))
16 print('正在爬取第',str(i+1),'页网页信息')
17
18 # 构造正则表达式,提取目标信息
19 html_title_pat = '"title":"(.*?)"'
20 title_info = re.compile(html_title_pat, re.S).findall(data)
21 # 测试代码:print(len(title_info))
22 for i in range(0,len(title_info)):
23 print('第'+str(i+1) + '条网页标题:' + str(title_info[i]))
24 print('-'*20)
25 data_lst.append(title_info[i])
26
27
28 def main():
29 keyword = input('请输入要检索的关键词:')
30
31 # #对关键词进行编码,因为URL中需要对中文等进行处理.
32 # 我们平时输入网址的时候有汉字是因为搜索框会自动解析汉字,但是python不会,所以我们需要对关键词进行编码。
33 key_code = urllib.request.quote(keyword) # 对关键词编码
34
35 url = 'http://www.baidu.com/s?&ie=utf-8&wd='+ key_code
36 depth = 5 # 爬取网页的深度,可以自行设置
37 data_lst = list()
38 get_html_text(url,data_lst,depth)
39
# 保存到本地路径
40 with open('baidu_keyword.txt', 'a', encoding='utf-8') as f:
41 data_raw = [str(i) for i in data_lst] #使用列表推导式保证列表内的每个元素都是字符串,因为文件写入时要求每个元素都是字符串格式。
42 #data_content = ' '.join(data_raw)
43 for i in data_raw:
44 f.write(i+'\n') #‘\n’写入一条信息就进行换行,使爬取的数据规整
45
46
47 if __name__ == '__main__':
48 main()