毕业设计:爬虫及数据分析
本科阶段即将落幕，我本科最后一项任务毕业设计也进入尾声。
指导老师跟我说，本科毕业设计不需要创新，但是工作量一定要够，我就知道又要搞事情了。
我选择的毕业设计题目是网络爬虫与数据分析，在当下可以说很时髦，很流行。
我将我的毕业设计分为四部分。每一部分都会有具体代码与注释，也会有一些外延知识的提及与讨论，欢迎大家一起学习进步。
爬虫简单介绍
所谓爬虫就是编写代码从网页上爬取自己想要的数据，代码的质量决定了你能否精确的爬取想要得到的数据，得到数据后能否直观正确的分析。
Python无疑是所有语言中最适合爬虫的。Python本身很简单，可是真正用好它需要学习大量的第三方库插件。比如matplotlib库，是一个仿照matalab的强大的绘图库，用它可以将爬下来的数据画出饼图、折线图、散点图等等，甚至是3D图来直观的展示。
Python第三方库的安装可以手动安装，但是更为简便的是在命令行直接输入一行代码即可自动搜索资源并安装。而且非常智能，可以识别自己电脑的类型找到最合适的版本。
Pip install +你所需要的第三方库
或者是easy install +你所需要的第三方库
这里建议大家使用pip安装，因为pip可以安装也可以卸载，而另一种方法只能安装。如果遇到你想使用新的版本的第三方库，使用pip的优势就会显现出来。
第一部分：交互界面设计
交互界面.png
为了增加工作量，我设计了一个交互界面来凑数。其实很简单，用的是python自带的第三方库Tkinter。注意，引用这个库的时候呢，必须大写。我就因为这个大小写问题，纠结了一下午才发现出错误。
def web():
root = Tk()
Label(root,text='请输入网址').grid(row=0,column=0) #对Label内容进行表格式布局
Label(root,text='请输入User-Agent :').grid(row=1,column=0)
v1=StringVar() #设置变量
v2=StringVar()
e1 = Entry(root,textvariable=v1) #用于储存 输入的内容
e2 = Entry(root,textvariable=v2)
e1.grid(row=0,column=1,padx=10,pady=5) #进行表格式布局
e2.grid (row=1,column=1,padx=10,pady=5)
url = e1.get() #将从输入框中得到的网址赋值给url
head = e2.get()我这只是简单的设计一个交互界面，python有更为丰富的框架可以让界面更加友好以及美观。
第二部分：python爬虫
（这部分代码参考简书ID方志朋的文章）
我这里爬虫所爬取的是一位知名博主的博客，并对其所有的文章进行结巴分词。从而提取关键词，分析这位博主使用当下比较热的与互联网相关的词汇的频率。
工作台数据.png
思路是这样的。
先编写一个函数download（）获取url，接着编写一个函数parse_descrtion（）解析从 url中获取的html，最后结巴分词。
def download(url): #通过给定的url爬出数据
if url is None:
return None
try:
response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36', })
if (response.status_code == 200):
return response.content
return None
except:
return None
def parse_descrtion(html):
if html is None:
return None
soup = BeautifulSoup(html, "html.parser") #html字符串创建BeautifulSoup
links = soup.find_all('a', href=re.compile(r'/forezp/article/details'))
for link in links:
titles.add(link.get_text())
def jiebaSet():
strs=''
if titles.__len__()==0:
return
for item in titles:
strs=strs+item;
tags = jieba.analyse.extract_tags(strs, topK=100, withWeight=True)
for item in tags:
print(item[0] + '\t' + str(int(item[1] * 1000)))第一个函数没什么好说的。
第二个函数用到了beautifulsoup，通过对网页的分析，从而寻找所有的满足条件为 href=re.compile(r'/forezp/article/details')的a标签里的内容。
第三个函数就是结巴分词。接下来对结巴分词作简单的介绍。
支持三种分词模式。
精确模式：试图将句子最精确地切开，适合文本分析。
全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。
搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
举个例子，结巴分词“我来到北京清华大学”这句话。
【全模式】:我/来到/北京/清华/清华大学/华大/大学
【精确模式】:我/来到/北京/清华大学
第三部分：连接mongoDB数据库
client = pymongo.MongoClient("localhost", 27017)
这句是使用给定主机位置和端口。pymongo的Connection()方法不建议使用，官方推荐新方法MongoClient()。
db = client['local']
这句是将创建好mongoDB后默认存在的两个数据库中的其中一个“local”赋给db，这样 db在以后的程序里就代表数据库local。
posts = db.pymongo_test
post_id = posts.insert(data)将local里默认的一个集合“pymongo_test”赋值给posts，并且用insert方法单个插入数据。最后回到结巴分词里的一个循环程序里，将数据依次插入。
以上是有关连接数据库的核心代码，接下来介绍如何启动mongoDB数据库。（我一开始编程怎么都连接不上，后来发现是数据库自身没有启动，唉，编程里发生的傻逼事情实在是太多了。）
微软徽标+R，输入cmd，找“mongodb”的路径，然后运行mongod开启命令，同时用--dbpath指定数据存放地点为“db”文件夹。
启动mongoDB
我这里是放在了E盘，大家根据需要自己设置。最后要看下是否开启成功，从图中的信息中获知，mongodb采用27017端口，那么我们就在浏览器输http://localhost:27017，打开后mongodb告诉我们在27017上Add 1000可以用http模式查看mongodb的管理信息。
第四部分：数据分析
最后一部分就是数据分析了，我这里用了两个工具。
一个是用artword在线工具，地址：[https://wordart.com]
云图效果
另一个就是使用matplotlib第三方库绘图更直观更系统的表现数据。第一个工具很简单，大家进入网站就会使用，现在主要介绍第二种工具的使用。
先介绍饼图的使用。
plt.figure(figsize=(6,9)) #调节图形大小，宽，高
labels = [u'springboot',u'Cloud',u'spring'] #定义饼状图的标签，标签是列表
sizes = [47.2,30.5,22.3,]#每个标签占多大，会自动去算百分比
colors = ['red','yellowgreen','lightskyblue']
explode = (0.05,0,0)#将某部分爆炸出来， 使用括号，将第一块分割出来，数值的大小是分割出来的与其他两块的间隙
patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,
labeldistance = 1.1,autopct = '%3.1f%%',shadow = startangle = 90,pctdistance = 0.6)#labeldistance，文本的位置离远点有多远，1.1指1.1倍半径的位置
#autopct，圆里面的文本格式，%3.1f%%表示小数有三位，整数有一位的浮点数
#shadow，饼是否有阴影
#startangle，起始角度，0，表示从0开始逆时针转，为第一块。一般选择从90度开始比较好看
#pctdistance，百分比的text离圆心的距离
#patches, l_texts, p_texts，为了得到饼图的返回值，p_texts饼图内部文本的，l_texts饼图外label的文本
#改变文本的大小
#方法是把每一个text遍历。调用set_size方法设置它的属性
for t in l_text:
t.set_size(15)
for t in p_text:
t.set_size(15)
#设置x，y轴刻度一致，这样饼图才能是圆的
plt.axis('equal')
plt.legend()
plt.show()
饼图.png
然后是条形图的使用。
people = ('springboot', 'Cloud', 'spring')
y_pos = np.arange(len(people))
performance = 3 + 10 * np.random.rand(len(people))
performance = (307,189,144)
error = np.random.rand(len(people))
plt.barh(y_pos, performance, xerr=error, align='center', alpha=0.4)
plt.yticks(y_pos, people)
plt.xlabel('time')
plt.ylabel('name')
plt.title('blog bar chart')
plt.show()
条形图.png
总结
python给人的整体感觉就是代码简洁，功能强大。针对数据分析有其独特的功能和精确的分析能力。
我们学院软件工程一位大神去了今日头条，干的就是python工程师，本科就拿到了28W的年薪。
在目前的大数据时代，python语言的使用频率也在日渐上升，其用途也会越来越广。
还在等什么，赶紧学python去吧。